2. Kafka 核心概念回顾：Topic、Partition、Producer、Consumer、Broker、Offset、Consumer Group
在深入契约测试之前，必须统一对 Kafka 基础架构的理解。Kafka 是一个分布式、分区化、多副本的发布-订阅消息系统。其核心概念构成了消息传递的骨架，也是后续版本回溯与校验契约的约束对象。以下逐一拆解每个概念及其在消息流中的角色。
2.1 核心概念全景图
下图展示了 Kafka 集群中 Producer、Broker、Topic、Partition、Consumer Group 与 Offset 之间的协作关系。这是理解消息路径的基础。
关键理解：消息从 Producer 写入 Broker 集群的 Topic，Topic 被切分为多个 Partition，每个 Partition 内的消息拥有唯一的 Offset。Consumer 以 Consumer Group 为单位从 Partition 拉取消息，并提交已消费的 Offset。
2.2 概念详解与对比
| 概念 | 角色定义 | 关键特征 | 与契约测试的关系 |
|---|---|---|---|
| Topic | 消息的逻辑分类，类似数据库中的表 | 多订阅者、持久化、可配置保留策略 | 契约测试的消息类型定义范围 |
| Partition | Topic 的物理分片，实现并行与扩展 | 有序、不可变、追加写入 | 决定消息顺序性契约的粒度 |
| Producer | 消息生产者，向 Topic 发布消息 | 异步/同步发送、acks 确认、幂等性 | 契约测试的发送方校验对象 |
| Consumer | 消息消费者，从 Partition 拉取消息 | 拉模式、Offset 管理、自动/手动提交 | 契约测试的接收方校验对象 |
| Broker | Kafka 服务器节点，存储消息 | 集群部署、Leader/Follower 副本 | 契约测试的中间代理环境 |
| Offset | Partition 内消息的唯一递增序号 | 严格递增、消费者提交点 | 版本回溯的定位锚点 |
| Consumer Group | 消费者的逻辑分组，实现负载均衡 | 组内消费者分摊 Partition、Rebalance | 契约测试的消费行为上下文 |
2.3 消息传递流程
一条消息从产生到被消费，经历以下关键步骤。每个步骤都涉及特定的契约约束。
- Producer 序列化与发送：Producer 将业务对象序列化为字节，按分区策略（如 key 哈希）发送到指定 Partition 的 Leader Broker。
- Broker 持久化：Leader Broker 将消息追加到 Partition 日志文件末尾，分配 Offset，并根据副本策略同步到 Follower。
- Consumer 拉取与反序列化：Consumer 向 Broker 发送 Fetch 请求，指定 Topic、Partition 和 Offset，拉取消息后反序列化为业务对象。
- Offset 提交：Consumer 处理完成后，提交当前消费的 Offset 到 Kafka 内部 Topic（__consumer_offsets）或外部存储。
契约测试切入点：上述流程中，序列化/反序列化格式、分区策略、Offset 提交时机、消息字段结构，都是契约测试需要覆盖的校验点。版本回溯时，Offset 是定位历史消息的唯一坐标。
2.4 关键机制：Offset 与 Consumer Group 的协作
Offset 和 Consumer Group 是 Kafka 实现消息回溯与消费状态管理的核心。理解它们的协作方式，是后续章节进行版本对比的基础。
- Offset 的单调性：每个 Partition 内的 Offset 从 0 开始严格递增，永不重复。这为消息提供了全局唯一的逻辑地址。
- Consumer Group 的 Rebalance：当组内 Consumer 数量或 Topic 分区数变化时，触发 Rebalance，重新分配 Partition 与 Consumer 的对应关系。
- 提交的 Offset：Consumer 提交的 Offset 表示“已处理完此 Offset 之前的所有消息”。未提交或提交失败的 Offset 会导致消息重复消费。
- 回溯能力：通过重置 Consumer Group 的 Offset 到指定位置（如最早、最新、或特定时间戳），可以实现消息的重新消费——这是版本回溯测试的底层机制。
常见陷阱：在契约测试中，如果 Consumer 使用自动提交（enable.auto.commit=true），可能导致 Offset 在消息未完全处理前被提交，造成回溯测试时消息丢失。建议在测试环境中使用手动提交，精确控制 Offset 的提交点。
2.5 核心概念速查表
| 概念 | 一句话记忆 | 配置/参数示例 |
|---|---|---|
| Topic | 消息的类别名称 | --topic orders |
| Partition | Topic 的并行分片 | num.partitions=3 |
| Producer | 消息的写入者 | acks=all, retries=3 |
| Consumer | 消息的读取者 | group.id=my-group |
| Broker | 消息的存储节点 | broker.id=1, log.dirs=/data/kafka |
| Offset | 消息在分区内的序号 | --offset 100 |
| Consumer Group | 消费者的逻辑团队 | group.id=order-service |