3. Kafka 核心概念：Topic、Partition、Producer、Consumer、Consumer Group、Offset、消息可靠性保证
在 Outbox 与 Kafka 集成测试实践中，Kafka 作为事件总线承担着异步解耦与可靠传输的核心职责。理解 Kafka 的底层概念是设计压测场景、分析性能瓶颈、保障数据一致性的前提。本节将系统梳理 Kafka 的七大核心概念，并重点剖析消息可靠性保证机制。
3.1 Topic 与 Partition：消息的逻辑组织与物理分片
Topic 是 Kafka 中消息的逻辑分类，类似于数据库中的表。每个 Topic 可被拆分为多个 Partition，Partition 是 Kafka 存储与并行处理的最小单元。
| 概念 | 作用 | 压测关注点 |
|---|---|---|
| Topic | 消息的逻辑归类，生产者按 Topic 发送，消费者按 Topic 订阅 | Topic 数量影响元数据管理开销，过多 Topic 会加重 ZooKeeper/KRaft 负载 |
| Partition | 物理日志文件，每个 Partition 内部消息有序，全局无序 | Partition 数量决定并行吞吐上限，但过多 Partition 增加 Leader 选举与文件句柄开销 |
| Replica | Partition 的副本，分为 Leader 和 Follower，保障高可用 | 副本因子影响写入延迟与磁盘空间，压测需关注 ISR 同步状态 |
3.2 Producer：消息生产与分区策略
Producer 负责将消息写入 Topic 的指定 Partition。在 Outbox 场景中，Producer 通常由 Outbox Publisher 组件扮演，从数据库 Outbox 表中拉取待发送事件并投递到 Kafka。
Producer 的核心参数与压测影响：
- acks：确认级别。acks=all（配合 min.insync.replicas）提供最强持久性，但延迟最高；acks=1 在 Leader 确认后返回，性能与可靠性折中；acks=0 不等待确认，吞吐最高但可能丢消息。
- retries：重试次数。Outbox 场景建议设置 retries=Integer.MAX_VALUE，配合
enable.idempotence=true实现精确一次语义。 - linger.ms 与 batch.size：控制消息批处理，影响吞吐与延迟的平衡。
- partitioner.class：分区策略。默认按 key 哈希，Outbox 场景常按聚合根 ID 分区以保证同一聚合根的事件有序。
3.3 Consumer 与 Consumer Group：消费模型与负载均衡
Consumer 从指定 Partition 拉取消息进行业务处理。Consumer Group 是 Kafka 实现点对点与发布订阅的核心抽象：同一 Group 内的 Consumer 协同消费 Topic 的所有 Partition，每条消息只被 Group 内的一个 Consumer 处理。
| 概念 | 说明 | 压测关注点 |
|---|---|---|
| Consumer Group | 逻辑订阅者集合，Group 内消费者共同承担 Topic 所有 Partition 的消费 | Group 内消费者数量不应超过 Partition 数，否则部分消费者空闲 |
| Partition 分配策略 | Range、RoundRobin、Sticky、CooperativeSticky | 重平衡期间消费中断，压测需记录 rebalance 耗时与暂停时长 |
| 消费位移提交 | 自动提交（enable.auto.commit=true）或手动提交 | 自动提交可能重复消费；手动提交需关注提交频率对吞吐的影响 |
3.4 Offset：消费进度与回溯能力
Offset 是 Partition 内消息的唯一递增序号，Consumer 通过提交 Offset 记录消费进度。Kafka 将 Offset 保存在内部 Topic __consumer_offsets 中。
Offset 管理在压测中的关键作用：
- 消费滞后（Lag）：Producer 最新 Offset 与 Consumer 已提交 Offset 的差值，是衡量消费能力是否匹配生产速度的核心指标。
- Offset 重置：支持
earliest、latest、none策略，压测中可通过重置 Offset 实现消息回溯重放。 - 精确一次语义：结合事务 API 与幂等 Producer，可实现端到端的精确一次投递，但会引入额外延迟。
3.5 消息可靠性保证：从 Producer 到 Consumer 的全链路
Kafka 的消息可靠性不是单一维度的保证，而是由多个配置共同决定的端到端契约。在 Outbox 场景中，消息可靠性直接决定了分布式事务的最终一致性边界。
| 阶段 | 保证级别 | 关键配置 | 压测验证方法 |
|---|---|---|---|
| Producer 发送 | 最多一次 / 至少一次 / 精确一次 | acks, retries, enable.idempotence, transactional.id | 模拟 Broker 宕机、网络分区，验证消息是否重复或丢失 |
| Broker 存储 | 副本同步保证 | replication.factor, min.insync.replicas, unclean.leader.election.enable | 逐个 Kill Broker，观察 ISR 变化与 Leader 切换是否丢数据 |
| Consumer 消费 | 至少一次 / 精确一次 | enable.auto.commit, auto.offset.reset, 手动提交 + 幂等处理 | 模拟 Consumer 崩溃，验证重启后消费行为是否符合预期 |
Producer: acks=all, enable.idempotence=true, retries=Integer.MAX_VALUE, max.in.flight.requests.per.connection=1
Topic: replication.factor=3, min.insync.replicas=2
Consumer: enable.auto.commit=false, 手动同步提交 Offset，业务逻辑实现幂等
3.6 压测场景中的概念映射
在 Outbox 与 Kafka 集成测试中，上述概念直接映射为压测模型的参数与断言：
- Topic 与 Partition：决定并发写入与消费的并行度，压测时需测试不同 Partition 数下的吞吐拐点。
- Producer：模拟 Outbox Publisher 的发送行为，重点关注 acks=all 下的延迟分布。
- Consumer Group：模拟下游事件处理器的水平扩展能力，测试重平衡对消费连续性的影响。
- Offset：通过监控 Lag 判断消费是否积压，压测中 Lag 持续增长说明消费能力不足。
- 可靠性保证：通过故障注入（Kill Broker、网络延迟、磁盘满）验证端到端数据一致性。