Python中的Generator、Iterator、Iterable

1、生成器Generator

设想我们有一个包含100万个元素的列表,列表占用了很大的存储空间,如果我们仅仅需要访问前面的几个元素,这样就会造成极大的资源浪费。

所以,如果有一种对象,存储的不是具体的列表元素,而是计算列表元素的方法,在我们需要的时候,可以计算出相应的元素,那么资源浪费的问题就结局了。在Python中,这种一边循环一边计算的机制,称为生成器:generator。

generator保存的是算法,我们可以每次调用next(g),就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。但是实际中,我们基本上不太会调用next方法,而是使用for循环,在本文的最后,我们可以看到为什么要这么做。

有两种构造Generator的方法,我们一一道来:

1.1 生成器表达式"()"

看下面的代码:

L = [x * x for x in range(10)]
g = (x * x for x in range(10))
L,g

输出如下:

([0, 1, 4, 9, 16, 25, 36, 49, 64, 81],
 <generator object <genexpr> at 0x106ccb678>)

可以看到,创建L和g的区别仅在于最外层的[]和(),L是一个list,而g是一个generator。

我们可以通过for循环来遍历generator:

for n in g:
    print(n)

1.2 方法体里加上yield关键词

如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator。

generator和函数的执行流程不一样。函数是顺序执行,遇到return语句或者最后一行函数语句就返回。而变成generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行,观察下面的例子。

def fib(max):
    n,a,b = 0,0,1
    while n < max:
        yield b
        a,b = b,a+b
        n += 1
    return 'finish'
for t in fib(6):
    print(t)

但是用for循环调用generator时,发现拿不到generator的return语句的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:

g = fib(6)
while True:
    try:
        x = next(g)
        print("g:",x)
    except StopIteration as e:
        print("Generator's return value is:",e.value)
        break

2、可迭代对象Iterable

可以直接作用于for循环的对象统称为可迭代对象Iterable,主要有两种类型:

一类是集合数据类型,如list、tuple、dict、set、str等;
一类是generator,包括生成器表达式和带yield的generator function。

可以使用isinstance()判断一个对象是否是Iterable对象:

from collections import Iterable
print(isinstance([],Iterable)) # True
print(isinstance('abc',Iterable)) # True
print(isinstance((x*x for x in range(10)),Iterable)) # True
print(isinstance(100,Iterable)) # False

3、迭代器Iterator

可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator。生成器都是Iterator对象,但list、dict、str虽然是Iterable,却不是Iterator。 不过把list、dict、str等Iterable变成Iterator可以使用iter()函数。

from collections import Iterator
print(isinstance((x for x in range(10)), Iterator)) # True
print(isinstance([], Iterator)) # False
print(isinstance({}, Iterator)) # False
print(isinstance('abc',Iterator)) # False
print(isinstance(iter('abc'), Iterator)) # True

你可能会问,为什么list、dict、str等数据类型不是Iterator?这是因为Python的Iterator对象表示的是一个数据流,Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()函数实现按需计算下一个数据,所以Iterator的计算是惰性的,只有在需要返回下一个数据时它才会计算。

4、Python for循环的本质

Python的for循环本质上就是通过不断调用next()函数实现的。
下面的代码:

for x in [1, 2, 3, 4, 5]:
    pass

等价于:

# 首先获得Iterator对象:
it = iter([1, 2, 3, 4, 5])
# 循环:
while True:
    try:
        # 获得下一个值:
        x = next(it)
    except StopIteration:
        # 遇到StopIteration就退出循环
        break

5、总结

1、凡是可作用于for循环的对象都是Iterable类型;包括集合数据类型和Generator。
2、凡是可作用于next()函数的对象都是Iterator类型,它们表示一个惰性计算的序列;
3、集合数据类型如list、dict、str等是Iterable但不是Iterator,不过可以通过iter()函数获得一个Iterator对象。

参考文献:

1、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143178254193589df9c612d2449618ea460e7a672a366000
2、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014317799226173f45ce40636141b6abc8424e12b5fb27000
3、https://blog.csdn.net/zwan0518/article/details/45026497

推荐阅读更多精彩内容