2. Kafka 基础回顾：核心概念与消息模型
在进入 Mock 隔离调试之前，必须先厘清 Kafka 的核心抽象。API 设计治理关注的是 契约、边界 与 可测试性，而 Kafka 的 Topic、Partition、Consumer Group 正是定义这些契约与边界的底层基础设施。本节从 API 设计视角重新审视这些概念。
2.1 核心概念速览
| 概念 | API 设计视角的定位 | 关键特征 |
|---|---|---|
| Topic | 消息的逻辑通道，相当于 API 的端点（Endpoint） | 多生产者写入、多消费者读取；名称即契约 |
| Partition | Topic 内部的物理分片，决定并行度与顺序性 | 有序追加、不可变日志；分区键决定路由 |
| Consumer Group | 消费端的负载均衡单元，类似 API 的客户端实例组 | 组内消费者分摊分区；组间独立消费 |
| Offset | 消息在分区内的位置指针，相当于 API 的分页游标 | 消费者提交偏移量控制重放语义 |
| Broker | 消息存储与转发的服务节点，类似 API 网关集群 | Leader/Follower 副本机制保证可用性 |
API 设计启示： Topic 命名应遵循
{domain}.{entity}.{event} 规范（如 order.payment.confirmed），这与 RESTful API 的路径设计原则一致。Partition 数量一旦确定，后续扩缩容会引发数据重分布，属于 设计时决策。
2.2 消息模型：从 Producer 到 Consumer 的完整链路
Kafka 的消息传递模型是 发布-订阅 与 点对点 的混合体。一条消息从产生到被消费，经历以下阶段：
- Producer 发布：指定 Topic 和可选分区键，消息被追加到对应 Partition 的尾部。
- Broker 持久化：消息以日志段（Log Segment）形式落盘，并根据副本策略同步到 Follower。
- Consumer 拉取：消费者主动向 Broker 发起 Fetch 请求，按 Offset 顺序读取消息。
- Offset 提交：消费完成后提交偏移量，标记该消息已被处理。
与 API 设计的映射： Producer 相当于 请求方，Consumer 相当于 响应处理方，Broker 相当于 异步消息队列中间件。在 Mock 隔离场景中，我们需要模拟的是 Broker 的行为——即消息的存储与分发逻辑，而非真实的 Kafka 集群。
2.3 Consumer Group 与分区分配策略
Consumer Group 是 Kafka 实现 水平扩展 与 容错 的核心机制。组内消费者共同订阅一个 Topic，每个 Partition 只能被组内的一个消费者消费。当消费者加入或离开时，触发 Rebalance 重新分配分区。
| 分配策略 | 算法描述 | 适用场景 |
|---|---|---|
| Range | 按 Topic 分区序号范围分配，每个消费者获得连续分区段 | 分区数均匀、消费者数量稳定的场景 |
| RoundRobin | 所有订阅 Topic 的分区统一轮询分配给消费者 | 多 Topic 订阅、负载均衡要求高的场景 |
| Sticky | 在 Rebalance 时尽量保留已有分配，减少分区移动 | 频繁扩缩容、状态缓存敏感的场景 |
| Cooperative | 增量式 Rebalance，只重新分配受影响的分区 | 大规模集群、要求低停服时间的场景 |
Mock 隔离中的陷阱： 在单元测试中，如果使用真实的 Consumer Group 并触发 Rebalance，会导致测试结果不稳定。Mock 方案必须 绕过 Rebalance 机制，直接为每个测试消费者分配固定的 Partition 集合，保证测试的可重复性。
2.4 消息模型与 API 设计的深层关系
从 API 设计治理的角度，Kafka 的消息模型与 REST/gRPC 等同步 API 存在本质差异，这些差异直接影响 Mock 策略：
- 异步性：消息的发送与处理在时间上解耦，Mock 需要模拟 延迟 与 乱序 场景。
- 至少一次语义：消息可能被重复消费，Mock 必须支持 幂等性验证。
- 无状态消费：消费者不持有会话状态，Mock 需要模拟 Offset 管理 行为。
- 批量拉取：Consumer 一次拉取多条消息，Mock 需要支持 批量返回 与 背压 模拟。
2.5 关键设计原则总结
API 设计治理的 Kafka 第一性原理：
- Topic 即契约：Topic 名称、消息 Schema、分区键策略构成 API 的 接口定义。
- Partition 即并行单元：分区数量决定系统的 吞吐上限，也决定 Mock 测试的 并发模拟粒度。
- Consumer Group 即客户端实例组：组内消费者的行为必须 可预测，Mock 需要固定分区分配以消除不确定性。
- Offset 即状态指针：消息重放、死信处理、回溯测试都依赖 Offset 的精确控制。