1. Kafka 核心概念回顾：Topic、Partition、Consumer Group、Offset、Replica 机制
在深入集成测试与故障排查之前，必须牢固掌握 Kafka 的五大核心抽象。这些概念构成了消息存储、分发与容错的基础，也是后续任务版本回滚场景中数据一致性校验的焦点。
1.1 核心概念速览
| 概念 | 本质 | 关键作用 | 测试关注点 |
|---|---|---|---|
| Topic | 消息的逻辑分类 | 数据流的主题标识 | 创建/删除/配置变更的幂等性 |
| Partition | 物理分片，有序日志 | 水平扩展与并行消费 | 分区分配策略、Leader 选举 |
| Consumer Group | 消费者逻辑集群 | 负载均衡与故障转移 | Rebalance 触发条件与耗时 |
| Offset | 消息在分区内的序号 | 消费进度标记 | 提交语义（At-least-once / Exactly-once） |
| Replica | 分区的冗余副本 | 高可用与数据持久性 | ISR 同步、Leader 切换数据完整性 |
1.2 Topic 与 Partition：存储与扩展的基石
Topic 是消息的逻辑容器，每个 Topic 可拆分为多个 Partition。Partition 是 Kafka 存储的最小并行单元，内部以追加日志（Append-Only Log）方式写入，每条消息被分配一个单调递增的 Offset。
- 分区数决定了消费者组内的最大并行度。
- 分区键（Key）决定消息写入哪个分区，保证相同 Key 的消息有序。
- 分区内消息顺序严格保证，跨分区不保证全局顺序。
测试提示： 在回滚测试中，需验证旧版本生产者写入的分区分布是否与新版本一致。分区数变更会导致消息路由规则变化，是回滚后数据错乱的常见原因。
1.3 Consumer Group 与 Offset：消费语义的核心
Consumer Group 是 Kafka 实现发布/订阅与点对点两种模式的关键。组内消费者协同消费 Topic 的所有分区，每个分区在同一时间只被组内一个消费者消费。
- Offset 提交：消费者消费后需提交 Offset 到内部 Topic
__consumer_offsets。 - 提交模式：自动提交（enable.auto.commit=true）与手动提交。
- Rebalance：当消费者加入/离开或分区数变化时触发，期间消费暂停。
回滚风险： 若新版本消费者提交了 Offset 但消息处理逻辑回滚，旧版本消费者可能从已提交的 Offset 继续消费，导致消息漏处理。建议在回滚前重置 Offset 到安全位点。
1.4 Replica 机制：数据高可用的保障
每个 Partition 有多个副本（Replica），分布在不同的 Broker 上。副本分为 Leader 和 Follower：
- Leader：负责处理所有读写请求。
- Follower：从 Leader 拉取数据保持同步，参与故障切换。
- ISR（In-Sync Replica）：与 Leader 保持同步的副本集合，是数据可靠性的关键指标。
副本机制参数 min.insync.replicas 与 acks 共同决定了消息的持久性保证：
| acks 配置 | 行为 | 持久性 | 延迟 |
|---|---|---|---|
| acks=0 | 不等待确认 | 最低 | 最低 |
| acks=1 | 等待 Leader 确认 | 中等 | 中等 |
| acks=all | 等待所有 ISR 确认 | 最高 | 最高 |
1.5 核心架构关系图
下图展示了 Topic、Partition、Replica、Consumer Group 与 Offset 之间的协作关系：
1.6 副本同步与 ISR 机制
Kafka 通过 ISR（In-Sync Replica）机制保证数据一致性。只有 ISR 集合中的副本才有资格成为新的 Leader。当 Follower 落后 Leader 超过 replica.lag.time.max.ms 时，会被踢出 ISR。
1.7 集成测试中的关键验证点
针对上述核心概念，集成测试应覆盖以下场景：
- Topic 配置变更：分区数增加后，旧消息分布不变，新消息按新规则路由。
- Consumer Rebalance：模拟消费者宕机，验证分区重新分配后消费不丢不重。
- Offset 提交语义：测试自动提交与手动提交在异常场景下的行为差异。
- Leader 切换：Kill Leader Broker，验证新 Leader 数据完整性与消费连续性。
- ISR 伸缩：模拟网络分区，验证 ISR 收缩与恢复后的数据同步正确性。