1. 课程导论：消息队列读写分离的背景、目标与整体蓝图概览
1.1 为什么需要读写分离？—— 多消费者场景下的性能瓶颈
在传统消息队列架构中，生产者将消息写入队列，消费者从同一队列拉取消息。当消费者数量增长、消费逻辑变重（如数据清洗、聚合、转储）时，单一队列的读写混合模式会引发三大核心问题：
- 读/写锁竞争：同一分区的写入与消费操作争夺磁盘 I/O 与内存资源，导致吞吐量下降。
- 消费积压放大：慢消费者阻塞队列尾部，迫使生产者降速或消息堆积，影响实时性。
- 扩展性受限：增加消费者副本并不能线性提升消费能力，因为底层存储仍是单点瓶颈。
核心洞察： 读写分离的本质是将“写入路径”与“消费路径”解耦，让生产者与消费者各自拥有独立的存储与计算资源，从而消除资源争抢。
1.2 读写分离的目标与收益
| 目标维度 | 具体描述 | 关键指标 |
|---|---|---|
| 吞吐量提升 | 写入端与消费端独立扩展，避免锁竞争 | TPS 提升 3~10 倍（视场景） |
| 消费隔离 | 慢消费者不影响其他消费者或生产者 | P99 延迟降低 50%+ |
| 弹性伸缩 | 消费者组可独立增加副本，无需调整写入端 | 秒级扩缩容 |
| 数据一致性 | 通过异步复制或日志回放保证最终一致性 | RPO < 1s |
1.3 整体蓝图：读写分离架构的核心组件
本课程将围绕以下五层架构展开，每一层都对应一个可独立优化的模块：
- 写入层（Producer Gateway）：负责消息接收、分区路由、批量刷盘，保证写入高可用。
- 存储层（Write-Ahead Log + 主存储）：顺序写 WAL，异步同步到消费存储。
- 分发层（Replicator / Dispatcher）：将写入日志实时复制到多个消费存储副本。
- 消费层（Consumer Store + 消费组）：每个消费者组拥有独立存储，支持独立 offset 管理与回溯。
- 协调层（Metadata & Leader Election）：管理拓扑、故障转移、消费者组注册。
1.4 课程路线图：从原理到生产落地
本课程共 30 章，按“基础 → 架构 → 实践 → 调优”四阶段递进：
| 阶段 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1~6 章 | 读写分离原理、一致性模型、存储选型（RocksDB / LevelDB） |
| 架构篇 | 第 7~15 章 | 分发层设计、消费组隔离、offset 管理、故障转移 |
| 实践篇 | 第 16~24 章 | 基于 Kafka / Pulsar 的读写分离改造、代码实现 |
| 调优篇 | 第 25~30 章 | 性能压测、资源隔离、监控告警、生产案例复盘 |
学习建议： 如果你已经熟悉消息队列基础，可以直接从第 7 章架构篇开始；但建议至少阅读第 2 章（一致性模型）以避免后续概念混淆。
1.5 适用场景与前置知识
- 适用场景：日志采集、CDC（变更数据捕获）、事件驱动微服务、大数据管道。
- 前置知识：熟悉至少一种消息队列（Kafka / RabbitMQ / Pulsar）；了解分布式系统 CAP 理论；具备 Java 或 Go 基础（代码示例以 Java 为主）。