1. 课程导论与目标
1.1 分布式事务压测场景库概述
分布式事务是现代微服务与事件驱动架构中保证数据一致性的核心挑战。在 Kafka 生态中，分布式事务通常涉及生产端事务性发送、消费端幂等处理以及跨系统（数据库 + 消息队列）的两阶段提交。为了系统性地评估 Kafka 在这些复杂场景下的吞吐量表现，我们构建了分布式事务压测场景库。
该场景库覆盖以下典型事务模式：
| 场景类别 | 描述 | 典型压测关注点 |
|---|---|---|
| 单分区事务 | 生产者向单个分区发送事务性消息 | 事务初始化开销、单分区吞吐上限 |
| 多分区事务 | 生产者跨多个分区发送事务性消息 | 跨分区协调延迟、事务原子性保障 |
| 跨集群事务 | 通过 MirrorMaker 或自定义桥接实现跨数据中心事务 | 网络延迟对事务提交的影响、端到端一致性 |
| 数据库 + Kafka 混合事务 | 使用 Kafka 事务 API 配合数据库本地事务（如 XA） | 两阶段提交性能、回滚率、资源锁定时间 |
| 高冲突事务 | 多个生产者并发写入相同事务 ID 或相同分区 | 事务冲突处理、重试机制对吞吐的影响 |
场景库设计原则：每个场景都包含独立的压测脚本、参数配置模板和预期性能基线，便于复现和对比。
1.2 Kafka 吞吐量测试的重要性
在分布式事务场景中，Kafka 的吞吐量并非单纯的“每秒写入多少条消息”。事务机制引入了额外的协调开销、状态持久化和隔离性保障，这些都会直接影响系统的实际处理能力。具体而言：
- 事务协调器负载：每个事务都需要与 Transaction Coordinator 交互，高频事务会显著增加 Broker 端的 CPU 和网络开销。
- 日志追加与刷盘策略：事务性消息需要写入
__transaction_state内部主题，增加了磁盘 I/O 压力。 - 消费者端事务性读取：消费端需要等待事务提交标记，才能读取已提交消息，这会增加端到端延迟。
- 幂等性与重试：事务性生产者自动启用幂等性，重试机制在故障场景下会进一步降低吞吐。
因此，脱离事务场景的纯吞吐测试无法反映生产环境的真实瓶颈。本课程通过场景库压测，帮助工程师精准定位事务机制下的性能短板。
核心结论：在分布式事务压测中，Kafka 吞吐量通常比非事务场景下降 20%–50%，具体取决于事务大小、分区数和并发度。
1.3 课程整体架构与学习目标
本课程共分为 30 章，按“基础 → 场景 → 分析 → 优化”四阶段递进：
各阶段核心内容如下：
- 阶段一（第 1–6 章）：Kafka 事务原理、事务 API 详解、压测环境搭建（Docker/K8s）、监控工具（JMX/Prometheus）配置。
- 阶段二（第 7–16 章）：逐一执行 5 类事务场景的压测脚本，记录吞吐量、延迟、事务成功率等关键指标。
- 阶段三（第 17–24 章）：使用可视化仪表盘分析压测数据，定位事务协调器瓶颈、磁盘 I/O 瓶颈、网络带宽瓶颈。
- 阶段四（第 25–30 章）：针对不同瓶颈给出参数调优建议（如
transaction.max.timeout.ms、acks、batch.size），并探讨架构级优化（如分区重分配、事务 ID 设计）。
前置要求：学习者需具备 Kafka 基础使用经验（生产/消费 API）、Linux 基本操作、Docker 基础。本课程不讲解 Kafka 安装入门。