点击蓝字丨关注我们
随着互联网应用的快速发展，尤其是在高并发场景下（如网络爬虫、实时聊天、文件上传/下载等），传统的同步编程模式逐渐暴露出其性能瓶颈。同步编程按顺序执行任务，一个任务未完成时，其后的任务会被阻塞。对于 I/O 密集型任务来说，这种模式效率低下，无法充分利用系统资源。而异步编程通过任务挂起与恢复，允许在一个任务等待时处理其他任务，从而显著提高程序的执行效率。
在 Python 中，异步编程的实现经历了不断发展：从早期的回调函数到多线程、多进程，再到现代的 `asyncio` 库和 `async`/`await` 语法。Python 3.4 引入 `asyncio` 库，标准化了异步编程工具，随后在 Python 3.5 中引入了 `async` 和 `await` 关键字，使异步代码更具可读性和维护性。
本文将介绍 Python 中异步编程的核心概念，并通过 `asyncio` 库的实际应用，展示如何利用异步编程提升程序的并发性能。
二、异步编程的核心概念
1. 同步 vs 异步 vs 多线程/多进程
- 同步编程：所有操作按顺序执行，当前任务未完成时，后续任务会被阻塞。例如，读取文件时程序会停下来等待文件读取完成才能继续运行。
- 异步编程：通过非阻塞的方式执行任务。当一个任务在等待时，程序可以切换到其他任务执行。一旦等待结束，原任务会恢复执行。
- 多线程/多进程：通过并发执行多个线程或进程实现任务的并行处理，通常需要操作系统的调度支持。
异步编程的优势在于高效利用单个线程内的资源，而不需要额外的线程或进程开销。
2. 事件循环 (Event Loop)
异步编程的核心是事件循环。事件循环是一个不断运行的循环，用来监听和调度异步任务。当任务挂起时（如等待 I/O），事件循环会转而执行其他待处理任务。一旦挂起任务完成，事件循环会将其调度回来继续执行。
3. 协程 (Coroutine)
协程是 Python 实现异步编程的基础。与普通函数不同，协程可以在执行过程中暂停，并在稍后恢复执行。协程函数使用 `async def` 定义，调用时返回一个协程对象，必须使用 `await` 或事件循环运行它。
示例：
```python
async def greet():
print("Hello")
await asyncio.sleep(1)
print("World")
```
4. 异步 I/O 的优势
异步 I/O 特别适合处理网络请求、数据库查询、文件操作等耗时任务。与多线程相比，异步 I/O 的资源消耗更低，不需要频繁创建和销毁线程，因此在高并发场景下性能更优。
三、Python 中的异步编程工具：asyncio 概述
1. asyncio 简介
`asyncio` 是 Python 标准库中用于异步编程的核心工具，提供了事件循环、协程、任务、同步原语等功能。它让开发者能够更方便地编写高效的异步程序。
2. async 和 await 的基本用法
- 使用 `async def` 定义协程函数，协程函数调用时返回一个协程对象。
- 在协程函数中使用 `await` 调用另一个协程或异步操作，表示程序会等待其完成后再继续运行。
示例：
```python
import asyncio
async def say_hello():
print("Hello")
await asyncio.sleep(1)
print("World")
asyncio.run(say_hello())
```
3. 任务 (Task)
在异步编程中，任务是对协程的封装。通过 `asyncio.create_task()` 可以将协程包装为任务，以便事件循环调度。多个任务可以并发运行。
示例：
```python
async def task(name):
print(f"Task {name} started")
await asyncio.sleep(2)
print(f"Task {name} completed")
async def main():
task1 = asyncio.create_task(task("A"))
task2 = asyncio.create_task(task("B"))
await task1
await task2
asyncio.run(main())
```
4. 事件循环
事件循环是异步编程的核心。`asyncio.run()` 会启动一个事件循环，运行传入的协程并管理所有的异步任务。
5. 常用异步 I/O 函数
- `asyncio.sleep()`：异步等待一段时间。
- `asyncio.gather()`：并发运行多个协程并收集结果。
- `asyncio.wait_for()`：设置任务的超时时间。
四、使用 asyncio 进行异步编程的实践
1. 案例 1：模拟异步爬虫
通过 `aiohttp` 库结合 `asyncio` 实现并发网页爬取。
```python
import asyncio
import aiohttp
async def fetch_url(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
urls = ["https://example.com" for _ in range(5)]
async with aiohttp.ClientSession() as session:
tasks = [fetch_url(session, url) for url in urls]
results = await asyncio.gather(*tasks)
for result in results:
print(len(result))
asyncio.run(main())
```
2. 案例 2：异步文件读写
使用 `aiofiles` 库实现文件的异步读写操作。
```python
import asyncio
import aiofiles
async def write_file(filename, content):
async with aiofiles.open(filename, 'w') as file:
await file.write(content)
async def read_file(filename):
async with aiofiles.open(filename, 'r') as file:
return await file.read()
async def main():
await write_file("example.txt", "Hello, Async World!")
content = await read_file("example.txt")
print(content)
asyncio.run(main())
```
3. 案例 3：任务超时控制
使用 `asyncio.wait_for()` 实现任务的超时控制。
```python
import asyncio
async def long_task():
await asyncio.sleep(5)
return "Task completed"
async def main():
try:
result = await asyncio.wait_for(long_task(), timeout=2)
print(result)
except asyncio.TimeoutError:
print("Task timed out")
asyncio.run(main())
```
五、异步编程的常见问题与解决方案
1. 调试困难
由于异步编程涉及任务的切换与状态管理，调试起来比同步代码更复杂。建议使用日志记录关键任务的状态，或者使用调试工具（如 `aiomonitor`）进行监控。
2. 死锁问题
在异步程序中混用同步 I/O 可能导致死锁问题。例如，读取文件时使用普通的 `open()` 而非异步的 `aiofiles.open()`。解决方案是确保所有耗时操作使用异步方法。
3. 任务取消与异常处理
异步任务可能被取消或抛出异常，因此需要在代码中处理这些情况。例如：
```python
async def main():
task = asyncio.create_task(long_task())
task.cancel()
try:
await task
except asyncio.CancelledError:
print("Task was cancelled")
```
六、总结与展望
1. 总结
Python 的异步编程通过 `asyncio` 提供了强大的工具链，特别是在高并发与 I/O 密集型任务中表现出色。理解事件循环、协程和任务是掌握异步编程的关键。
2. 展望
随着trio、anyio 等更高级异步库的出现，Python 的异步生态不断完善。未来，异步编程仍将是提升程序性能的重要方向。
【往期精选】
💖💖💖
感恩遇见！愿你拥有所有的美好与温暖！
谢谢你的关注、点赞、分享、在看、留言👇🏻
