3. Kafka 核心概念回顾：Topic、Partition、Producer、Consumer、Broker、Offset

在深入消息契约验证之前，必须对 Kafka 的六大核心概念建立精确的共识。这些概念构成了消息传递的物理与逻辑基础，也是后续集成测试中构造断言、模拟故障、验证契约的底层依据。

3.1 六大核心概念总览

3.2 消息流转架构图

下图展示了 Producer → Broker (Topic/Partition) → Consumer 的完整消息路径，以及 Offset 在 Partition 日志中的位置关系。

3.3 核心概念深度解析

3.3.1 Broker — 集群的基石

• 身份标识： 每个 Broker 拥有唯一 ID（broker.id），集群通过 ZooKeeper 或 KRaft 进行协调。
• 副本机制： 每个 Partition 有多个副本（Replica），分布在不同的 Broker 上，Leader 负责读写，Follower 负责同步。
• 测试要点： 验证 Leader 切换时消息不丢失、Offset 不跳跃。

3.3.2 Topic & Partition — 逻辑与物理的映射

• Topic 是逻辑容器， 一个 Topic 可包含多个 Partition，Partition 数决定了并行消费的最大能力。
• Partition 是物理日志， 每个 Partition 对应磁盘上的一个目录，消息以追加方式写入。
• 顺序保证： Kafka 只保证 Partition 内的消息有序，跨 Partition 不保证全局有序。

3.3.3 Producer — 消息的写入者

• 发送模式： 支持同步发送、异步发送、批量发送。
• 确认级别（acks）：
  • acks=0：不等待确认，吞吐最高但可能丢消息。
  • acks=1：等待 Leader 确认，默认值。
  • acks=all：等待所有 ISR 副本确认，最强持久性。
• 分区策略： 默认按 key 哈希分区，也可自定义分区器。

3.3.4 Consumer & Consumer Group — 消息的读取者

• 拉取模型： Consumer 主动向 Broker 拉取（pull）消息，避免推送（push）导致消费者过载。
• 消费位移（Offset）： Consumer 消费后提交当前 Offset，记录已处理的位置。
• 再均衡（Rebalance）： 当 Consumer 加入或离开 Group 时，触发分区重新分配，可能导致重复消费或短暂不可用。

3.3.5 Offset — 消息的唯一坐标

• 定义： 每个 Partition 内，消息从 0 开始递增编号，每条消息拥有唯一的 Offset。
• 提交方式： 自动提交（默认每 5 秒）或手动提交（精确控制）。
• 位移越界： 当 Consumer 提交的 Offset 小于 Partition 的最小 Offset 或大于最大 Offset 时，会触发 OffsetOutOfRangeException。

3.4 核心概念关系总结

下图以分层视角展示六大概念之间的依赖与协作关系，帮助理解它们在消息传递链路中的位置。

3.5 测试视角下的关键参数速查