今天我们要探讨的是编程世界里的两个超级英雄——生成器（Generators）和迭代器（Iterators）。它们在处理大量数据时，能像超人一样提升你的程序性能。想象一下，以前需要大内存一次性加载的数据，现在可以“按需分配”，是不是很酷？别急，我们会从零开始，一步步让你成为这两个概念的高手。
基础概念速递
迭代器：是一个实现了__iter__()和__next__()方法的对象，你可以遍历它的元素，直到抛出StopIteration异常为止。
生成器：是一种特殊的迭代器，但它更加简洁，通过函数加上yield关键字实现。它在每次迭代时暂停并保存状态，下次迭代时从上次停下的地方继续。
实战案例时间！
1. 简单生成器示例
想象你需要生成一个斐波那契数列。传统的做法可能会占用大量内存，但用生成器就优雅多了。
def fibonacci():
a, b = 0, 1
while True:
yield a
a, b = b, a + b
# 使用生成器
for num in fibonacci():
if num > 100:
break
print(num)
这段代码会按需生成斐波那契数列，直到数列中的数超过100。
2. 列表推导与生成器表达式
列表推导快速但内存消耗大，而生成器表达式则更节省资源。
# 列表推导
squares = [x**2 for x in range(10)]
# 生成器表达式
squares_gen = (x**2 for x in range(10))
print(list(squares_gen)) # 转换为列表查看
3. 大文件读取
处理大文件时，生成器是救星。
def read_large_file(file_object):
"""逐行读取大文件"""
while True:
data = file_object.readline()
if not data:
break
yield data
with open("large_file.txt", 'r') as f:
for line in read_large_file(f):
process(line) # 假设这是处理逻辑
4. 自定义迭代器
让我们创建一个简单的迭代器类，模拟一个计数器。
class Counter:
def __init__(self, max_num):
self.current = 0
self.max_num = max_num
def __iter__(self):
return self
def __next__(self):
if self.current < self.max_num:
self.current += 1
return self.current - 1
else:
raise StopIteration
for number in Counter(5):
print(number)
5. 迭代器结合高阶函数
使用map()和filter()与生成器结合，高效处理数据。
numbers = (x for x in range(10) if x % 2 == 0)
squared = map(lambda x: x**2, numbers)
print(list(squared))
注意事项与技巧
节省内存：当处理大量数据时，优先考虑生成器而非列表。 惰性求值：生成器的值是在需要时才计算，这有助于优化性能。 不可逆性：生成器和迭代器只能向前遍历，一旦遍历完就不能重新开始，除非重新生成或初始化。
进阶技巧与实战案例
6. 利用生成器协程实现简单的并发
Python的生成器可以用来实现简单的并发模型，通过send()方法传递数据。
def simple_coroutine():
print('Coroutine started')
while True:
received = yield
print(f'Received: {received}')
coro = simple_coroutine()
next(coro) # 初始化生成器
coro.send('Hello') # 发送数据
7. 无限序列与生成器
无限序列对于模拟持续的数据流非常有用。
def infinite_sequence(start=0):
while True:
yield start
start += 1
# 使用前几个数字
for i in itertools.islice(infinite_sequence(), 10):
print(i)
8. 遍历多个序列的同步
使用zip()函数同步遍历多个生成器或迭代器。
def sequence1():
for i in range(5):
yield i
def sequence2():
for i in range(5, 10):
yield i
for a, b in zip(sequence1(), sequence2()):
print(a, b)
9. 使用生成器实现分块读取文件
处理大文件时，可能需要按块读取数据。
def read_in_chunks(file_object, chunk_size=1024):
"""按块读取文件"""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
with open("large_file.txt", 'r') as f:
for chunk in read_in_chunks(f):
process_chunk(chunk) # 处理每个块
10. 利用生成器的延迟计算特性
在函数式编程中，延迟计算是关键。例如，缓存计算结果。
def fibonacci_memoized(maximum):
cache = {0: 0, 1: 1}
def fib(n):
if n not in cache:
cache[n] = fib(n-1) + fib(n-2)
if cache[n] > maximum:
raise StopIteration
return cache[n]
return fib
# 生成器表达式结合memoization
fib_sequence = (fibonacci_memoized(1000) for _ in itertools.count())
for num in fib_sequence:
print(num)
实践技巧与总结
复用性：生成器函数可以轻松封装复杂逻辑，提高代码的复用性。 调试挑战：由于生成器的执行是断断续续的，调试时可能会遇到挑战，使用pdb或仔细设计日志输出会很有帮助。 组合使用：结合Python的内置函数和模块（如 itertools），可以创造出强大的数据处理流水线。
好了，今天的分享就到这里了，我们下期见。如果本文对你有帮助，请动动你可爱的小手指点赞、转发、在看吧！
付费合集推荐
文末福利
公众号消息窗口回复“编程资料”，获取Python编程、人工智能、爬虫等100+本精品电子书。
