Kafka 基础回顾：Topic、Partition、Consumer Group 与 Offset 机制

在深入分析 Kafka 堆积与 Redis 连接池耗尽场景之前，必须牢固掌握 Kafka 最核心的四个抽象概念：Topic（主题）、Partition（分区）、Consumer Group（消费者组） 与 Offset（偏移量）。它们是理解消息流、并发消费、数据可靠性与堆积成因的基石。

2.1 Topic 与 Partition：消息的逻辑与物理存储

Topic 是 Kafka 中消息的逻辑分类，类似于数据库中的表。生产者将消息发送到指定的 Topic，消费者从 Topic 订阅消息。

每个 Topic 可以被拆分为多个 Partition，Partition 是 Kafka 的物理存储单元，也是并行度的基本单位。每个 Partition 是一个有序、不可变的日志文件（Log），新消息被追加到日志尾部。

2.2 Consumer Group：水平扩展消费能力

Consumer Group 是 Kafka 实现发布-订阅与点对点两种消费模式的核心机制。一个 Consumer Group 由多个 Consumer 实例组成，它们共同消费一个或多个 Topic 的消息。

• 负载均衡： Group 内的每个 Consumer 负责消费一个或多个 Partition，Partition 的分配由 Group Coordinator 协调。
• 容错性： 当某个 Consumer 宕机时，其负责的 Partition 会被重新分配给 Group 内其他存活的 Consumer。
• 再均衡（Rebalance）： 当 Consumer 加入、离开或 Topic 元数据变化时，触发 Rebalance，重新分配 Partition 所有权。

2.3 Offset：消费进度的精确指针

Offset（偏移量） 是 Consumer 在 Partition 中的消费位置标记。Kafka 通过 Offset 来跟踪每个 Consumer Group 在每个 Partition 上的消费进度。

Offset 的提交方式直接影响消息的至少一次（At Least Once） 或 最多一次（At Most Once） 语义：

2.4 堆积场景下的关键关联

在 Kafka 堆积场景中，上述四个概念之间的交互关系直接决定了问题的表象与根因：

1. Partition 数不足： 如果 Topic 的 Partition 数少于 Consumer Group 内的消费者数，部分消费者将处于空闲状态，无法水平扩展消费能力，导致堆积。
2. Offset 提交阻塞： 当 Consumer 处理消息时涉及 Redis 操作，若 Redis 连接池耗尽，处理线程阻塞，Offset 无法及时提交，Broker 感知到 Lag 持续增大。
3. Rebalance 风暴： 连接池耗尽导致 Consumer 心跳超时，触发 Group Rebalance。Rebalance 期间所有消费暂停，堆积进一步加剧。
4. 消费语义选择： 手动提交 Offset 时，若处理失败未提交，重启后可能重复消费大量消息，给下游系统（如 Redis）带来瞬时压力。