编程中的生成器，内存优化技巧
编程中的生成器：减少内存占用的核心技巧
在编程中处理大量数据时，内存消耗是常见瓶颈。生成器（Generator）提供了一种按需生成值的机制，仅在需要时才计算并返回数据，从而避免一次性加载所有内容到内存。这种内存优化技巧尤其适合处理无限序列或大型文件流。
生成器如何实现内存优化
传统列表会一次性创建并存储所有元素，例如 `range(1000000)` 在 Python 中会占用约 8 MB 内存。而生成器表达式 `(x for x in range(1000000))` 只记录当前状态和生成规则，每次迭代仅返回一个值，内存占用几乎为零。这种“惰性求值”机制是生成器内存优化的核心。
实际应用中，读取大文件时，生成器可以按行读取：
```python
def read_large_file(file_path):
with open(file_path) as f:
while True:
line = f.readline()
if not line:
break
yield line.strip()
```
逐行处理文件，内存始终只保留当前行，而非整个文件内容。
场景1：数据流处理中的生成器
在实时数据流（如日志、传感器数据）中，生成器可以持续产生数据而无需预加载。例如，模拟股票价格更新：
```python
def stock_price_generator():
import random
while True:
yield random.uniform(100, 200)
```
调用方可以控制何时获取下一个价格，内存仅维持当前状态。这种模式在微服务或物联网系统中可显著降低内存峰值。
场景2：嵌套循环中的内存优化
当需要遍历多层嵌套数据时，生成器能避免创建中间列表。例如，计算两个大列表的笛卡尔积：
```python
def cartesian_product(list_a, list_b):
for a in list_a:
for b in list_b:
yield (a, b)
```
传统做法会生成一个包含所有组合的巨大列表，而生成器仅在需要时产出单个元组，内存消耗从 O(n*m) 降至 O(1)。
生成器与迭代器的区别
迭代器（如文件句柄）和生成器都属于可迭代对象，但生成器通过函数内的 `yield` 关键字自动创建迭代器协议。生成器可以携带状态（如局部变量），而自定义迭代器需手动实现 `__iter__` 和 `__next__`。对于内存优化，生成器的简洁语法和自动状态管理是更优选择。
总结：何时使用生成器
生成器并非万能。当数据规模小（如少于1000个元素）或需要重复遍历时，列表可能更高效。但在大数据处理、无限序列、流式数据、递归算法（如树遍历）中，生成器是内存优化的关键工具。掌握这一技巧，能有效预防程序因内存溢出而崩溃，同时保持代码的简洁性和可读性。