Python和JavaScript中的生成器与协程

发表于 | 分类于 |
字数统计 1.6k | 阅读时长 6

0x00 前言

Python和JavaScript中都有生成器（Generator）和协程（coroutine）的概念。本文通过分析两者在这两种语言上的使用案例，来对比它们的差异。

0x01 Python中的生成器

Python中的生成器简介

使用过Python的同学对生成器的概念应该是很熟悉的，一个经典的例子是使用它生成斐波拉契数列。

def fab(max):
    n, a, b = 0, 0, 1
    while n < max:
        yield b
        a, b = b, a + b
        n = n + 1

输出结果如下：

>>> for n in fab(5):
...     print n
...
1
1
2
3
5

在Python中，使用了yield的函数不再是普通函数，而是一个生成器函数，执行它返回的是一个生成器对象，可以进行迭代，可以调用next函数获取下一个值。

>>> fab
<function fab at 0x0225E4F0>
>>> fab(5)
<generator object fab at 0x0217BE18>
>>> x=fab(5)
>>> x.next()
1
>>> x.next()
1
>>> x.next()
2
>>> x.next()
3
>>> x.next()
5

yield也支持使用send方法进行参数传递。

def gen_test():
    n = 1
    while True:
        n = yield n
        print n

g = gen_test()
n = g.next()
for i in range(5):
    n = g.send(n * 2)

输出结果为：

2
4
8
16
32

创建生成器函数后，需要先调用一次next函数，否则程序会报以下错误：

TypeError: can't send non-None value to a just-started generator

yield最大的特点是允许代码发生中断，并在调用next或send时继续往下执行。

Python中使用生成器实现协程

协程是一种通过代码实现的模拟多线程并发的逻辑，其特点是使用一个线程实现了原本需要多个线程才能实现的功能；而且由于避免了多线程切换，提升了程序的性能，甚至去掉了多线程中必不可少的互斥锁。

协程最大的一个特点是用同步的方式写异步代码，提升了代码的可读性，并降低了维护成本。

协程与多线程的主要差别如下：

  1. 协程只有一个线程，多线程有多个线程
  2. 协程中任务（逻辑线程）的切换是在代码中主动进行的；线程的切换是操作系统进行的，时机不可预期
  3. 进程中可以创建的线程数量是有限的，数量多了之后产生的线程切换开销比较大；协程可以创建的任务数量主要受CPU占用率、文件句柄数量等限制

由于Python中GIL的存在，多线程实际上并无法利用到多核CPU的优势。这种情况下使用协程 + 多进程无疑是最优实现方案。

yield天生的特性，为实现协程提供了极大的便利。

Python中使用生成器实现协程的典型库是：tornado。即便是自己实现也不是很复杂，基本原理就是维护一个事件队列，保存生成器对象，不断取出队列前面的生成器对象，去调用send方法，进行参数传递，从而维护了函数调用链。

下面是使用tornado的一个例子：


import tornado.gen
import tornado.ioloop
import tornado.tcpclient

@tornado.gen.coroutine
def tcp_client_demo(addr, port):
    tcp_client = tornado.tcpclient.TCPClient()
    stream = yield tcp_client.connect(addr, port, timeout=30)
    stream.write('send data')
    buffer = yield stream.read_until('\r\n\r\n')
    raise tornado.gen.Return(buffer)

tcp_client_demo('1.1.1.1', 1111)
tornado.ioloop.IOLoop.current().start()

不过tornado中还是有很多地方需要写回调函数的，个人觉得这些地方实现得不是很优雅。

Python从3.5开始支持async和await关键字，从而在语言层面支持了协程。但是使用生成器实现协程的兼容性会更好。

0x02 JavaScript中的生成器

JavaScript中的生成器简介

JavaScript中可以使用function*创建生成器函数，这是在ES6规范中提出来的，Chrome从版本39才开始支持这一特性。

使用JavaScript生成斐波拉契数列的代码如下：

function* fab(max) {
    var [n, a, b] = [0, 0, 1];
    while(n < max) {
        yield b;
        [a, b] = [b, a + b];
        n++;
    }
}

执行结果如下：

> x=fab(5)
fab {[[GeneratorStatus]]: "suspended"}
> x.next()
Object {value: 1, done: false}
> x.next()
Object {value: 1, done: false}
> x.next()
Object {value: 2, done: false}
> x.next()
Object {value: 3, done: false}
> x.next()
Object {value: 5, done: false}

可以看出，使用方法与Python中是基本一致的，不过，JavaScript中并没有send方法，但是next是可以传参的，相当于结合了Python中next和send的功能。

JavaScript中使用生成器实现协程

JavaScript天生是一个单线程的环境，一般不能使用阻塞的操作，传统的实现多采用异步回调（callback）方式。但是，这种方式容易导致层层嵌套，变成回调地狱（Callback Hell），阅读和调试都不是很方便。

后来出现了Promise，可以用优雅一些的方法编写异步代码，但是仍然不够优雅。于是出现了基于生成器和Promise实现的co库，这个库目前只有200多行代码，可以将生成器函数变成Promise对象，并自动执行。它支持yield一个Promise对象，其效果与async和await（Chrome 55开始支持）相似。

co代码链接为：https://github.com/tj/co/blob/master/index.js。

关于co的具体介绍可以参考这篇文章。

以下是使用co的一个例子：


function sleep(ms) {
  return new Promise(resolve => setTimeout(resolve, ms));
}

function* gen_sleep() {
    console.log(new Date());
    yield sleep(2000);
    console.log(new Date());
}

co(gen_sleep);

执行结果如下：

Wed Jul 18 2018 14:39:44 GMT+0800 (中国标准时间)
Promise {[[PromiseStatus]]: "pending", [[PromiseValue]]: undefined}
VM514:8 Wed Jul 18 2018 14:39:47 GMT+0800 (中国标准时间)

这里两次打印时间差了3秒，怀疑是执行误差所致。使用async和await也是如此，尚未找到具体原因。

如果只是不断调用gen_sleep的next函数，是不会进行sleep操作的。

使用async和await实现以上的功能，代码如下：


function sleep(ms) {
  return new Promise(resolve => setTimeout(resolve, ms));
}

async function async_sleep() {
    console.log(new Date());
    await sleep(2000);
    console.log(new Date());
}

async_sleep();

可以看出，这两种方式都可以实现协程的效果，但是后者是语言官方支持，应该会成为主流。

0x03 总结

从上面的例子可以看出，两者对生成器和协程的使用有很多相似之处，可以说是大同小异。在理解了语言的这些特性之后，编写协程代码会更加地轻松。

总的来说就是：语言都是相通的。

分享