1. 课程导论：Kafka在Go Web架构中的角色、流处理与状态存储的核心概念、课程目标与学习路径

1.1 Kafka在Go Web架构中的角色

在构建高吞吐、可弹性伸缩的Go Web服务时，Kafka已从“消息队列”演变为事件流平台。它不再仅仅是解耦生产者和消费者的管道，而是成为整个分布式系统的事实数据主干。在Go Web架构中，Kafka承担以下关键角色：

1.2 流处理与状态存储的核心概念

本课程围绕两个紧密耦合的概念展开：流处理定义数据如何流动与变换，状态存储定义数据在流动过程中如何被持久化与查询。二者在Kafka生态中的边界设计，直接决定了系统的正确性、延迟与运维复杂度。

1.2.1 流处理模型

• 记录流：Kafka Topic中的每条消息是不可变的事实记录，按offset顺序消费。
• 无状态处理：每条消息独立处理，不依赖历史数据（如日志转发、格式转换）。
• 有状态处理：处理逻辑依赖先前消息的累积结果（如窗口聚合、会话检测、去重）。
• 时间语义：事件时间 vs 处理时间 vs 摄入时间，决定窗口计算的正确性。

1.2.2 状态存储边界

状态存储边界是指：流处理过程中产生的中间状态存放在哪里？由谁管理？生命周期如何？ 在Go + Kafka的实践中，存在三种典型边界：

1.3 课程目标

完成本课程后，你将具备以下能力：

1. 设计能力：能够为Go Web系统设计合理的Kafka Topic结构、分区策略与消费者组拓扑。
2. 编码能力：熟练使用 segmentio/kafka-go 和 IBM/sarama 实现生产、消费、流处理逻辑。
3. 状态管理能力：掌握嵌入式状态、外部状态存储、Kafka紧凑日志三种边界的Go实现与取舍。
4. 正确性保障：理解幂等性、事务、Exactly-Once语义在Go + Kafka中的落地方式。
5. 运维思维：能够监控消费者组滞后、处理再均衡、设计优雅关闭与故障恢复流程。

1.4 学习路径

本课程共30章，按以下四个阶段递进：

1.5 本章小结

• Kafka在Go Web架构中扮演事件总线、流处理引擎、状态变更日志、数据管道四大角色。
• 流处理与状态存储的边界设计是系统正确性与性能的关键。
• 三种状态边界（嵌入式、外部存储、紧凑日志）各有适用场景，没有银弹。
• 课程按基础 → 流处理 → 状态存储 → 进阶生产四阶段递进，每章都包含可运行的Go代码。