2. Kafka 核心架构回顾：Producer、Broker、Consumer、Topic、Partition、Offset

在深入诊断 Kafka 堆积与连接池等待超时之前，必须对 Kafka 的核心架构建立清晰的认知。堆积问题本质上源于 Producer → Broker → Consumer 链路中某一环节的吞吐量失衡。本节将系统回顾六大核心组件及其交互关系，为后续调优奠定基础。

2.1 整体架构与数据流

Kafka 是一个分布式消息流平台，其核心架构围绕 发布-订阅 模型构建。下图展示了消息从生产到消费的完整路径，以及各组件在链路中的位置。

2.2 六大核心组件详解

2.3 Producer 核心机制

Producer 是消息的入口，其行为直接影响 Broker 的负载。关键参数包括：

• acks：确认级别。acks=all 保证最强可靠性，但会增加延迟和 Broker 压力。
• batch.size：批量发送大小。过小导致频繁网络请求，过大增加内存压力。
• linger.ms：发送前等待时间。适当增加可提升批量化效率。
• max.in.flight.requests.per.connection：单个连接上未确认请求数。超过 1 且启用重试可能导致乱序。
• buffer.memory：Producer 端缓冲区大小。缓冲区满时 send() 会阻塞，引发连接池等待。

// Producer 核心配置示例
Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("acks", "all");
props.put("batch.size", 16384);       // 16KB
props.put("linger.ms", 5);            // 5ms
props.put("buffer.memory", 33554432); // 32MB
props.put("max.in.flight.requests.per.connection", 5);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

2.4 Broker 与 Topic/Partition 存储模型

Broker 负责维护 Topic 的多个分区副本。每个分区有一个 Leader 和多个 Follower。所有读写请求都由 Leader 处理，Follower 异步同步数据。

分区是 Kafka 并行性的基石：

• 一个分区只能被同一个 Consumer Group 内的一个 Consumer 实例消费。
• 分区数越多，理论上支持的并行消费线程数越多。
• 但分区过多会带来文件句柄开销、Leader 选举耗时增加等问题。

2.5 Consumer 与 Offset 管理

Consumer 采用 拉取（pull） 模式从 Broker 获取消息。每个 Consumer 实例属于一个 Consumer Group，组内成员协同消费订阅的 Topic 分区。

Offset 是 Consumer 消费进度的核心标记：

• 自动提交（enable.auto.commit=true）：默认每 5 秒提交一次。可能导致重复消费或消息丢失。
• 手动提交：在业务处理成功后调用 commitSync() 或 commitAsync()，更精确但需要开发者控制。
• Offset 存储：Kafka 0.9+ 默认将 Offset 提交到内部 Topic __consumer_offsets。

// Consumer 手动提交 Offset 示例
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
    for (ConsumerRecord<String, String> record : records) {
        // 业务处理逻辑
        processRecord(record);
    }
    // 处理完成后手动提交 Offset
    consumer.commitSync();
}

2.6 组件交互与堆积链路

理解组件交互有助于定位堆积的根因。以下表格总结了常见的堆积场景及其涉及的组件：

2.7 关键指标速查

在后续章节的调优中，以下指标将反复出现，建议提前熟悉：

• Consumer Lag：消费者落后 Producer 的消息数，是堆积的直接度量。
• Bytes In/Out：Broker 每秒流入/流出字节数，反映集群吞吐。
• Request Queue Size：Broker 端等待处理的请求数，过高表示 Broker 过载。
• Network Processor Avg Idle Percent：网络线程空闲率，低于 30% 表示网络瓶颈。
• Under Replicated Partitions：副本同步落后的分区数，影响数据可靠性。