2. Kafka 核心架构回顾：Producer、Broker、Consumer、Topic、Partition、Offset、Consumer Group

在深入 KafkaDB 迁移与 GC 定位之前，必须牢固掌握 Kafka 的核心架构组件。消息堆积诊断的根因往往隐藏在这些基础概念的交互细节中。本节将系统梳理 Producer、Broker、Consumer、Topic、Partition、Offset 和 Consumer Group 的定义、职责与协作关系。

2.1 核心组件总览

Kafka 是一个分布式、分区化、多副本的发布-订阅消息系统。其架构由以下核心角色构成：

2.2 消息流转架构图

下图展示了从 Producer 生产消息到 Consumer 消费消息的完整路径，包含 Topic、Partition、Offset 与 Consumer Group 的协作关系：

2.3 核心组件详解

2.3.1 Producer（生产者）

Producer 负责将消息发送到指定的 Topic。关键行为包括：

• 分区选择：默认使用轮询（Round-Robin）或消息 Key 哈希策略；可自定义 Partitioner。
• 确认机制（acks）：
  • acks=0：不等待确认，吞吐最高但可能丢消息。
  • acks=1：等待 Leader 写入成功即返回（默认）。
  • acks=all：等待所有 ISR 副本写入完成，最安全。
• 重试与幂等性：启用 enable.idempotence=true 可避免消息重复。

2.3.2 Broker（代理服务器）

Broker 是 Kafka 集群的存储与计算节点。每个 Broker 可管理多个 Partition 的 Leader 与 Follower 副本。集群通过 ZooKeeper 或 KRaft 进行元数据协调。

• Leader/Follower 机制：每个 Partition 有一个 Leader 处理读写，Follower 同步数据。
• ISR（In-Sync Replicas）：与 Leader 保持同步的副本集合；消息写入需等待 ISR 确认。
• 存储结构：每个 Partition 对应一个目录，内部包含多个 Segment 文件（.log、.index、.timeindex）。

2.3.3 Topic 与 Partition

Topic 是逻辑分类，Partition 是物理存储与并行单元。两者关系如下：

2.3.4 Offset（偏移量）

Offset 是 Partition 内消息的唯一标识，从 0 开始递增。Consumer 通过提交 Offset 来标记已消费位置。Offset 管理方式：

• 自动提交：enable.auto.commit=true，定期提交（默认 5 秒），可能重复消费。
• 手动提交：业务逻辑确认处理完成后调用 commitSync() 或 commitAsync()，更精确。
• Offset 重置：当 Consumer 组发生 Rebalance 或首次消费时，可通过 auto.offset.reset 配置（earliest / latest / none）决定起始位置。

2.3.5 Consumer Group（消费者组）

Consumer Group 是 Kafka 实现点对点与发布-订阅两种模式的关键机制：

• 组内竞争：同一个 Partition 只能被组内的一个 Consumer 消费，实现负载均衡。
• 组间独立：不同 Consumer Group 可以独立消费同一个 Topic，互不影响（发布-订阅模式）。
• Rebalance：当 Consumer 加入/离开或 Topic 分区数变化时，触发分区重新分配。频繁 Rebalance 会导致消费停滞，是消息堆积的常见诱因之一。

2.4 消息存储与消费流程

下图聚焦于 Partition 内部的存储结构与 Consumer 拉取消息的 Offset 管理细节：

2.5 消息堆积的根因关联

基于上述架构，消息堆积的常见根因可归纳为以下三类：