2. Kafka核心架构回顾

在深入诊断消息堆积之前，必须对 Kafka 的核心架构组件建立精确的认知。消息堆积的本质是数据在 Producer → Broker → Consumer 链路中某个环节的吞吐量失衡。本节将逐一拆解每个组件的职责、交互关系以及它们在堆积场景下的关键行为。

2.1 整体架构总览

Kafka 是一个分布式流处理平台，其核心架构围绕“发布-订阅”模式构建。下图展示了消息从生产到消费的完整路径，以及各组件之间的协作关系。

2.2 核心组件详解

2.2.1 Producer（生产者）

Producer 负责将消息发送到指定的 Topic。在堆积场景中，Producer 的行为直接影响消息进入 Broker 的速度。

• 发送模式：同步发送（acks=all 且等待响应）与异步发送（回调或 fire-and-forget）。异步发送吞吐更高，但异常处理更复杂。
• 关键参数：acks（确认级别）、batch.size（批次大小）、linger.ms（等待时间）、compression.type（压缩类型）。
• 堆积关联：当 Broker 写入变慢或网络拥堵时，Producer 端会出现 Request timeout 或 BufferExhaustedException。

2.2.2 Broker（服务端）

Broker 是 Kafka 集群的服务器节点，负责消息的存储、复制和分发。每个 Broker 可以承载多个 Partition 的 Leader 或 Follower 副本。

• 存储模型：消息以 Segment 文件形式落盘，顺序写入，利用操作系统 Page Cache 加速读写。
• 副本机制：每个 Partition 有多个副本（Replica），Leader 负责读写，Follower 异步同步。ISR（In-Sync Replicas）列表维护与 Leader 保持同步的副本。
• 堆积关联：Broker 磁盘 I/O 瓶颈、网络带宽饱和、Page Cache 压力过大，都会导致消息写入延迟，进而引发 Producer 端堆积。

2.2.3 Topic 与 Partition

Topic 是消息的逻辑分类，Partition 是 Topic 的物理分片。Partition 是 Kafka 实现水平扩展和并行处理的核心单元。

2.2.4 Offset（偏移量）

Offset 是消息在 Partition 内的唯一序号，从 0 开始递增。Consumer 通过提交 Offset 来记录消费进度。

• 当前日志末端偏移量 (Log End Offset, LEO)：最新写入消息的位置。
• 消费者当前偏移量 (Current Offset)：Consumer 已成功消费并提交的位置。
• 堆积量计算公式：堆积量 = LEO - Current Offset。这是诊断堆积最直接的指标。

2.2.5 Consumer 与 Consumer Group

Consumer 从 Broker 拉取消息进行业务处理。多个 Consumer 可以组成一个 Consumer Group，共同消费一个 Topic，实现负载均衡和容错。

2.3 组件间交互流程

消息从生产到消费的完整流程如下，理解每一步有助于定位堆积发生的具体环节：

1. Producer 发送：Producer 根据分区策略（如 key 哈希、轮询）将消息发送到指定 Partition 的 Leader 副本。
2. Broker 写入：Leader 副本将消息顺序追加到日志文件，并等待 Follower 副本同步（根据 acks 配置）。
3. Consumer 拉取：Consumer 向 Broker 发送 Fetch 请求，拉取指定 Partition 中从当前 Offset 开始的新消息。
4. Offset 提交：Consumer 处理完消息后，提交 Offset 到 Kafka 内部 Topic（__consumer_offsets）或外部存储。

2.4 堆积相关核心概念速查表