1. 课程导学：Outbox模式与Kafka可靠性概述、课程目标与学习路径、前置知识要求
1.1 为什么需要Outbox模式？
在微服务与事件驱动架构中，本地事务与消息发送的一致性是核心难题。当服务需要同时更新数据库并发送Kafka消息时，若先发消息后提交数据库，消息可能已发出但事务回滚；若先提交数据库后发消息，则可能因网络或Broker故障导致消息丢失。这种“双写”场景下的原子性缺失，是分布式系统中最常见的可靠性陷阱之一。
核心痛点： 数据库事务与消息队列事务无法跨系统保证ACID。Outbox模式通过将消息暂存于本地数据库表（Outbox表），再通过独立进程异步投递，巧妙地将分布式问题转化为本地事务问题。
1.2 Outbox模式与Kafka可靠性概述
本课程围绕两大技术支柱展开：
- Outbox模式： 一种确保数据库操作与消息发送原子性的设计模式。核心思路是在业务数据库内创建一张
outbox表，业务操作与插入消息记录在同一个本地事务中完成，再由后台进程（如CDC、定时任务）将消息可靠地投递到Kafka。 - Kafka消息可靠性： 涵盖生产者端
acks配置、幂等性、事务API，Broker端副本机制、ISR（In-Sync Replicas）与最小同步副本配置，以及消费者端偏移量提交策略与重试机制。
两者的结合，构成了从业务写入到消息投递再到消费确认的全链路可靠性保障。
课程定位： 本课程不局限于理论讲解，而是通过压测工具（如JMeter、Kafka自带的性能测试脚本）对Outbox+Kafka组合进行压力测试，量化验证不同配置下的可靠性指标（如消息丢失率、重复率、延迟分位数）。
1.3 课程目标
完成本课程后，你将能够：
| 目标维度 | 具体能力 | 验证方式 |
|---|---|---|
| 理论理解 | 透彻掌握Outbox模式原理、Kafka可靠性语义（至少一次、至多一次、精确一次） | 概念辨析题、架构设计题 |
| 工程实现 | 独立搭建Outbox表结构、实现投递进程（基于CDC或定时轮询） | 代码审查、本地运行验证 |
| 压测能力 | 使用JMeter/Kafka压测工具对Outbox+Kafka链路进行压力测试，采集吞吐量、延迟、丢消息率 | 压测报告、指标对比 |
| 故障排查 | 识别并解决消息丢失、重复消费、顺序错乱等常见问题 | 故障注入实验、日志分析 |
1.4 学习路径
课程分为四个阶段，循序渐进：
- 基础篇（第1-5章）： 理解Outbox模式与Kafka可靠性基础，搭建实验环境。
- 实现篇（第6-15章）： 手写Outbox投递进程，集成Kafka生产者/消费者，实现可靠投递。
- 压测篇（第16-25章）： 设计压测方案，执行多场景压力测试，分析可靠性指标。
- 进阶篇（第26-30章）： 探讨分布式事务、Saga模式、性能优化与生产最佳实践。
学习建议： 建议每章结束后动手完成配套实验。压测部分需要至少3台虚拟机或容器（1台Kafka Broker、1台业务服务、1台压测机），请提前准备环境。
1.5 前置知识要求
为了确保学习效果，建议你具备以下基础：
| 知识领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| Java基础 | 熟悉Spring Boot、JDBC、事务管理（@Transactional） | Spring官方文档、Baeldung教程 |
| Kafka基础 | 了解Topic、Partition、Producer、Consumer、Broker概念；会使用命令行工具 | Kafka官方Quickstart、《Kafka权威指南》前3章 |
| 数据库基础 | 熟练使用MySQL/PostgreSQL，理解事务隔离级别 | MySQL官方文档、LeetCode SQL练习 |
| 压测工具 | 了解JMeter基本用法或Kafka自带性能测试脚本 | JMeter官方User Manual、Kafka性能测试文档 |
1.6 实验环境说明
本课程所有实验均基于以下环境（建议保持一致）：
- 操作系统： Ubuntu 22.04 LTS / macOS 14+ / Windows WSL2
- Java： JDK 17+
- Kafka： 3.5+（含ZooKeeper或KRaft模式）
- 数据库： MySQL 8.0+ 或 PostgreSQL 15+
- 压测工具： Apache JMeter 5.6+ 或 Kafka 内置
kafka-producer-perf-test.sh - 容器化（可选）： Docker Compose 用于快速搭建多节点环境
快速开始： 课程配套仓库提供
docker-compose.yml 一键启动Kafka + MySQL环境，以及初始化SQL脚本。建议在开始第2章前完成环境验证。