01
并发调度基础回顾
进程与线程的本质区别、GIL锁的前世今生、Python并发模型概览。
进程线程GIL
02
concurrent.futures 深度解析
ThreadPoolExecutor 与 ProcessPoolExecutor 底层实现、Future 状态机、回调与异常处理。
线程池进程池Future
03
协程与异步编程入门
async/await 语法糖、事件循环 (Event Loop) 原理、协程挂起与恢复。
asyncawait事件循环
04
asyncio 库实战
Task 与 Future 关系、协程调度器、超时控制与取消任务。
Task超时取消
05
同步原语进阶
Lock、RLock、Semaphore、Condition、Event、Barrier 使用场景与性能对比。
锁信号量Condition
06
无锁编程与原子操作
Python 原子性保证、queue.Queue 线程安全、CAS 思想体现。
无锁原子CAS
07
线程间通信
共享内存与消息传递、threading.local 数据隔离、Pipe 与 Queue 选型。
通信隔离Pipe
08
进程间通信 (IPC)
multiprocessing.Queue、Pipe、Manager、SharedMemory 实战用法。
IPC共享内存Manager
09
分布式任务调度
Celery 架构解析、Broker (Redis/RabbitMQ) 选型、Worker 并发模式 (Prefork/Gevent/Eventlet)。
CeleryBrokerWorker
10
Celery 实战
任务定义、路由、定时任务 (Beat)、结果后端配置与监控。
Beat路由监控
11
调度算法设计
FIFO、优先级队列、时间片轮转、多级反馈队列在 Python 中的实现。
FIFO优先级时间片
12
任务依赖与 DAG 调度
NetworkX 构建有向无环图、拓扑排序、并行任务触发。
DAG拓扑排序NetworkX
13
资源池化技术
连接池 (数据库/Redis)、线程池、协程池自实现与调优。
连接池线程池协程池
14
背压 (Backpressure) 机制
生产者-消费者流量控制、asyncio.Queue 实现背压。
背压流量控制asyncio.Queue
15
并发安全的数据结构
标准库线程安全容器、第三方库 (sortedcontainers) 并发适配。
安全容器sortedcontainers
16
性能剖析与调优
cProfile 与 py-spy 使用、GIL 对 CPU 密集型影响、多进程 vs 多线程基准测试。
cProfilepy-spy基准测试
17
异步 I/O 与文件操作
aiofiles 库、异步 HTTP (aiohttp)、数据库异步驱动 (asyncpg/aiomysql)。
aiofilesaiohttpasyncpg
18
并发模式设计模式
生产者-消费者、工作窃取 (Work Stealing)、MapReduce 在 Python 中的实现。
生产者-消费者工作窃取MapReduce
19
高并发 Web 服务
FastAPI 异步特性、uvicorn worker 模式、Gunicorn + Uvicorn 混合部署。
FastAPIuvicornGunicorn
20
消息队列与事件驱动
Redis Streams、Kafka 消费者组、结合 asyncio 实现事件驱动架构。
Redis StreamsKafka事件驱动
21
分布式锁
基于 Redis 的 Redlock 算法、ZooKeeper 临时节点、数据库乐观锁。
RedlockZooKeeper乐观锁
22
事务与并发控制
数据库隔离级别、乐观锁与悲观锁在 SQLAlchemy 中的实现。
隔离级别乐观锁SQLAlchemy
23
并发测试与模拟
pytest-asyncio 测试协程、模拟高并发 (locust)、竞态条件检测。
pytestlocust竞态
24
调试与日志
并发环境日志聚合 (structlog)、死锁检测、faulthandler 捕获崩溃。
structlog死锁faulthandler
25
容器化与编排
Docker 中 Python 并发资源限制、Kubernetes HPA 与并发关系。
DockerK8sHPA
26
监控与告警
Prometheus 指标暴露 (prometheus_client)、Grafana 面板、关键指标 (队列长度、延迟)。
PrometheusGrafana告警
27
实战案例一：高吞吐日志采集系统
生产者-消费者 + 异步写入 + 背压控制。
日志采集背压异步写入
28
实战案例二：分布式爬虫调度器
任务去重、优先级调度、断点续爬。
爬虫去重断点续爬
29
实战案例三：实时数据处理管道
Kafka + asyncio + 状态管理。
Kafkaasyncio状态管理
30
课程总结与未来展望
Python 并发生态未来 (Trio、AnyIO)、Rust 扩展 (PyO3)、AI 推理调度挑战。
TrioPyO3AI推理