1. 课程导论：重平衡与GC停顿的核心关系，为什么这是Kafka生产环境的头号杀手

在Kafka生产集群的日常运维中，消费者组重平衡（Rebalance）与JVM GC停顿是两大最隐蔽、破坏力最强的性能杀手。它们并非孤立存在，而是形成一条相互强化的恶性因果链：GC停顿触发不必要的重平衡，重平衡又加剧内存压力，进而引发更长的GC停顿。这种共振效应一旦形成，轻则消费延迟飙升，重则导致集群级联故障。

1.1 重平衡的本质与代价

消费者组重平衡是Kafka保证分区分配一致性的核心机制。当组成员关系发生变化（加入、离开、崩溃）或分区数变更时，协调器（Coordinator）会触发一轮Stop The World式的全局同步操作。

在重平衡期间，整个消费者组处于不可用状态。对于大规模集群（数百个消费者、数千个分区），一次重平衡可能持续数秒甚至数十秒，直接导致消费延迟的瞬时尖刺。

1.2 GC停顿：重平衡的隐形触发器

JVM的GC停顿，尤其是CMS并发模式失败或G1的Mixed GC，会导致消费者线程长时间暂停。当消费者在session.timeout.ms（默认45秒）内未能向协调器发送心跳时，协调器会判定该消费者已死亡，从而触发新一轮重平衡。

GC停顿与重平衡的因果链可以概括为：

1. 内存压力上升：消息堆积、缓存膨胀、元数据增长。
2. GC停顿：JVM尝试回收内存，导致应用线程暂停。
3. 心跳超时：消费者线程被暂停，无法发送心跳。
4. 触发重平衡：协调器误判消费者死亡，发起Rebalance。
5. 加剧内存压力：重平衡期间所有消费者暂停消费，消息继续涌入，内存压力进一步升高。
6. 更长的GC停顿：内存压力导致下一次GC更剧烈，停顿时间更长。

1.3 为什么这是头号杀手？

相比网络抖动、磁盘故障等单点问题，重平衡与GC停顿的耦合效应具有以下破坏性特征：

• 级联放大：一个消费者的GC停顿可能引发全组重平衡，影响范围从单点扩散到整个消费者组。
• 自我加速：重平衡期间所有消费者暂停，消息持续入队，内存压力呈指数级上升，导致后续GC停顿更长。
• 难以复现：生产环境的内存压力、GC行为、网络延迟等因素交织在一起，测试环境很难模拟。
• 恢复困难：重平衡完成后，大量积压消息需要追赶，可能再次触发GC停顿，形成二次冲击。

1.4 课程核心脉络

本课程将沿着以下主线展开：