1. Kafka 基础架构：核心组件解析

Apache Kafka 是一个分布式、分区化、多副本的发布-订阅消息系统。理解其基础架构是诊断堆积问题、进行性能调优的前提。Kafka 集群由多个核心组件构成，它们协同工作，实现了高吞吐、低延迟的数据流处理。

1.1 核心组件总览

Kafka 架构采用“生产者-代理-消费者”的三层模型。以下表格总结了各核心组件的角色与职责：

1.2 Broker：消息存储与转发节点

Broker 是 Kafka 集群中的单个服务器实例，负责接收来自 Producer 的消息、为消息分配偏移量、将消息持久化到磁盘，并响应 Consumer 的拉取请求。

• 无状态设计：Broker 本身不维护消费者状态，消费者偏移量由 Kafka 内部 Topic (__consumer_offsets) 管理，或由消费者自行提交。
• 水平扩展：通过增加 Broker 节点，可以线性提升集群的吞吐量和存储容量。
• Leader-Follower 副本机制：每个 Partition 在多个 Broker 上维护副本，Leader 负责读写，Follower 负责同步，确保高可用。

1.3 Topic 与 Partition：逻辑分类与物理分片

Topic 是消息的逻辑分类，类似于数据库中的表。每个 Topic 可以被多个 Consumer Group 独立消费。

Partition 是 Topic 的物理分片单元。一个 Topic 通常包含多个 Partition，每个 Partition 是一个有序的、不可变的日志文件。

1.4 Producer：消息生产者

Producer 负责将消息发布到指定的 Topic。它支持多种发送模式和分区策略。

• 发送模式：
  • Fire-and-Forget：不关心发送结果，吞吐量最高，但可能丢失消息。
  • 同步发送：等待 Broker 确认，可靠性高，延迟较大。
  • 异步发送 + 回调：推荐模式，兼顾吞吐量与可靠性。
• 分区策略：
  • 轮询 (Round Robin)：默认策略，均匀分布。
  • 哈希 (Hash)：根据消息 Key 的哈希值选择 Partition，保证相同 Key 的消息进入同一 Partition。
  • 自定义分区器：实现 Partitioner 接口，满足业务需求。
• 幂等性与事务：启用 enable.idempotence=true 可避免重复消息；事务支持跨分区原子写入。

1.5 Consumer 与 Consumer Group：消息消费者

Consumer 从 Broker 拉取消息。多个 Consumer 可以组成一个 Consumer Group，共同消费一个 Topic。

• 消费模式：
  • 点对点 (Queue)：同一 Group 内的 Consumer 竞争消费，每条消息只被一个 Consumer 处理。
  • 发布-订阅 (Pub/Sub)：不同 Group 的 Consumer 独立消费，每条消息可被多个 Group 消费。
• 偏移量管理：
  • Consumer 通过提交偏移量 (Offset) 记录消费进度。
  • 自动提交 (enable.auto.commit=true) 可能导致重复消费或消息丢失。
  • 手动提交提供更精确的控制，适用于需要 exactly-once 语义的场景。
• Rebalance 机制：当 Consumer 加入或离开 Group 时，触发分区重新分配。频繁的 Rebalance 会导致消费停滞，是堆积的常见诱因之一。

1.6 组件协作流程

一个完整的消息流转过程如下：

1. Producer 发送：Producer 根据分区策略将消息发送到 Topic 的某个 Leader Partition。
2. Broker 写入：Leader Partition 将消息追加到日志文件，并同步给 Follower 副本。
3. Consumer 拉取：Consumer 向 Broker 发送 Fetch 请求，拉取指定 Partition 的消息。
4. 偏移量提交：Consumer 处理完消息后，提交偏移量，标记消费进度。