2. Kafka 基础回顾：Topic、Partition、Producer、Consumer、Broker 核心概念
在深入错误处理与事务边界设计之前，必须重新校准 Kafka 的五大核心抽象。这些概念不仅是消息传递的物理载体，更是决定可靠性、顺序性、事务边界与恢复策略的基石。本节从架构视角梳理每个组件的职责与交互关系。
2.1 核心组件总览
| 组件 | 职责 | 关键特性 |
|---|---|---|
| Broker | Kafka 集群中的单个服务器节点，负责存储消息、处理请求 | 无状态（依赖 ZooKeeper/KRaft）、可横向扩展 |
| Topic | 消息的逻辑分类，类似数据库中的表 | 可多订阅、可配置保留策略 |
| Partition | Topic 的物理分片，每个 Partition 是一个有序、不可变的日志 | 分区内有序、全局无序；并行度的基本单位 |
| Producer | 向 Topic 发布消息的客户端 | 可指定分区策略、支持 ACK 级别、幂等与事务 |
| Consumer | 从 Topic 订阅并拉取消息的客户端 | 以 Consumer Group 为单位消费、维护 Offset |
架构视角：Broker 是存储层，Topic 是逻辑命名空间，Partition 是并行与容错单元，Producer 与 Consumer 是边界客户端。事务与错误处理的核心博弈点就发生在 Producer → Broker 与 Broker → Consumer 这两个链路上。
2.2 Topic 与 Partition：日志分片模型
Topic 是消息的逻辑容器，但真正的数据载体是 Partition。每个 Partition 在物理上对应一个目录，内部以 Segment 文件存储消息。Partition 的设计直接决定了系统的吞吐、顺序与可用性。
- 分区内有序：每条消息在 Partition 内拥有唯一的 Offset（偏移量），写入顺序即消费顺序。
- 全局无序：不同 Partition 之间没有顺序保证，跨分区有序需要业务层自行设计。
- 并行度：一个 Partition 只能被同一个 Consumer Group 内的一个 Consumer 实例消费，因此 Partition 数量决定了消费端的最大并行度。
- 副本机制：每个 Partition 有多个 Replica（副本），其中 Leader 负责读写，Follower 负责同步。副本数决定了容错能力。
事务边界启示：事务消息的原子性范围是跨 Partition 的。Producer 可以在一个事务内将消息发送到多个 Topic/Partition，Kafka 保证这些消息要么全部可见，要么全部不可见。理解 Partition 的隔离性对设计事务边界至关重要。
2.3 Producer：消息发布与确认机制
Producer 是消息的入口，其行为直接决定了消息的可靠性等级。Kafka 提供了三种 ACK 确认级别，开发者必须在吞吐与可靠性之间做出权衡。
| ACK 配置 | 行为描述 | 可靠性 | 适用场景 |
|---|---|---|---|
acks=0 |
Producer 发送后不等待任何确认 | 最低，可能丢消息 | 日志、监控等可容忍丢失的场景 |
acks=1 |
等待 Leader 写入本地日志后确认 | 中等，Leader 宕机可能丢数据 | 大部分业务场景的默认选择 |
acks=all |
等待 Leader 和所有 ISR 副本确认 | 最高，不会丢消息 | 金融、订单、事务消息等强一致性场景 |
事务边界陷阱：即使使用
acks=all，如果 Producer 在发送过程中崩溃，Broker 端可能已经写入部分消息。事务 API 通过 beginTransaction() + commitTransaction() 解决了这个“部分写入”问题，但前提是必须开启 enable.idempotence=true。
2.4 Consumer 与 Consumer Group：消费模型
Consumer 从 Partition 拉取消息，并通过 Offset 记录消费位置。多个 Consumer 可以组成一个 Consumer Group，实现负载均衡与容错。
- 点对点模式：同一个 Group 内的 Consumer 共同消费 Topic 的所有消息，每条消息只被一个 Consumer 处理。
- 发布-订阅模式：不同 Group 独立消费，每条消息可以被多个 Group 重复消费。
- Offset 管理：Consumer 可以自动提交 Offset（
enable.auto.commit=true）或手动提交。手动提交是事务性消费的基础。 - Rebalance：当 Consumer 加入或离开 Group 时，触发分区重分配。Rebalance 期间消费暂停，且可能导致重复消费。
错误处理启示：事务性消费要求 Consumer 在事务内提交 Offset，确保“处理消息”与“提交 Offset”原子化。如果 Offset 提交失败，Consumer 会在下次启动时重新消费旧消息，实现“至少一次”语义。
2.5 核心概念与事务边界的映射关系
在后续章节中，我们将反复引用这些基础概念。下表总结了每个概念在事务与错误处理上下文中的角色：
| 基础概念 | 在事务/错误处理中的角色 |
|---|---|
| Partition | 事务的原子性范围是跨 Partition 的，但顺序性只在单 Partition 内保证 |
| Producer 幂等性 | 防止重复写入，是事务 API 的前置条件 |
| Consumer Offset | 事务性消费的核心：Offset 提交与业务处理必须在同一事务内 |
| Broker 副本 | 影响事务恢复的持久性：只有同步到所有 ISR 的事务才被认为是已提交 |
| Consumer Group | Rebalance 可能导致重复消费，事务性消费需要处理这种边界情况 |