1. 课程导论与背景：Kafka消息堆积的常见场景、DB迁移对消息堆积的影响、GC问题在堆积中的角色
1.1 Kafka消息堆积的典型场景
消息堆积是Kafka生产环境中最高频的稳定性风险之一。当Consumer消费速度持续低于Producer生产速度，未被消费的消息就会在Broker端累积，导致端到端延迟飙升、存储水位告警甚至数据丢失。根据生产故障复盘，消息堆积主要出现在以下四类场景：
| 场景分类 | 触发原因 | 典型表现 | 影响等级 |
|---|---|---|---|
| Consumer处理能力不足 | 业务逻辑变重、下游依赖超时、单线程瓶颈 | Lag持续增长，Consumer Rebalance频繁 | 高 |
| 分区分配不均 | Partition数少于Consumer数、Key倾斜 | 部分分区Lag极高，其他分区空闲 | 中 |
| Broker端限流/故障 | 磁盘IO打满、网络带宽瓶颈、Leader切换 | Fetch请求超时，生产端背压 | 高 |
| GC停顿导致消费暂停 | Full GC、Young GC过长、CMS并发失败 | 消费线程STW，Lag阶梯式跳变 | 极高 |
关键指标： 当Consumer Lag > 10000条且持续增长超过5分钟，即进入堆积告警阈值。此时需要立即定位瓶颈在Consumer端、Broker端还是网络链路。
1.2 DB迁移对消息堆积的传导影响
数据库迁移（DB Migration）是引发Kafka消息堆积的隐蔽诱因。迁移过程中，Consumer业务逻辑通常需要同时读写新旧两套数据库，或者切换数据源时出现短暂的连接中断、事务超时、表锁等待，这些都会直接拖慢单条消息的处理耗时。
DB迁移对消息堆积的传导路径可归纳为以下三个阶段：
- 迁移前（双写阶段）： Consumer需要将消息写入旧库和新库，单次处理耗时从5ms飙升至50ms+，消费吞吐量骤降。
- 迁移中（切换窗口）： 数据源切换时可能触发连接池满、DNS缓存失效、SSL握手重连，导致消费线程阻塞。
- 迁移后（数据校验）： 对账和补偿逻辑增加额外CPU和内存开销，间接加剧GC压力。
实战经验： 某金融业务在MySQL迁移至TiDB期间，Consumer Lag从2000条暴涨至12万条。根因是双写阶段未启用异步批处理，每条消息都等待两次数据库提交。
1.3 GC问题在消息堆积中的角色
GC（Garbage Collection）是Kafka Consumer端最容易被忽视的堆积推手。当JVM堆内存不足或GC策略配置不当，Consumer进程会出现频繁的Stop-The-World停顿，导致消费线程在GC期间完全无法拉取和处理消息。
GC导致消息堆积的典型链路如下：
- Young GC频繁： 每次停顿10~50ms，消费线程被暂停，消息处理速率出现毛刺。
- Full GC/Concurrent Mode Failure： 停顿数百毫秒甚至数秒，Lag在停顿期间直线上升。
- GC后CPU飙高： 堆积的消息被集中处理，又产生大量临时对象，形成恶性循环。
注意： 很多团队在排查堆积时只关注Consumer业务逻辑和Kafka配置，忽略了GC日志。实际上，GC停顿导致的消费中断往往是“压死骆驼的最后一根稻草”。
1.4 三者的叠加效应
在实际生产故障中，DB迁移和GC问题往往不是孤立发生的，而是形成叠加效应：
- DB迁移 → 处理耗时增加 → 对象滞留时间变长 → 老年代更快填满 → Full GC频率上升
- GC停顿 → 消费暂停 → 消息积压 → 积压消息被集中处理 → 瞬时内存压力 → 再次触发GC
- 最终结果： Consumer Lag呈指数级增长，从几千条迅速突破百万条，触发Kafka存储阈值和Consumer Group超时。
课程核心观点： 诊断Kafka消息堆积不能只盯着Kafka本身。必须将DB迁移状态、JVM GC日志、Consumer线程Dump三者联合分析，才能快速定位根因。本课程后续章节将逐一拆解每个环节的定位工具和调优方法。
1.5 本课程的技术栈与前置知识
本课程面向具备一定Kafka和JVM基础的运维、开发及中间件工程师。课程将围绕以下技术栈展开：
| 技术领域 | 涉及工具/组件 | 课程覆盖深度 |
|---|---|---|
| Kafka | Kafka 2.8+ / 3.x, Consumer Group, Lag监控 | 堆积定位、参数调优、Rebalance优化 |
| JVM | JDK 11/17, G1/ZGC, GC日志, JFR, MAT | GC问题定位、堆分析、停顿优化 |
| 数据库迁移 | MySQL, TiDB, 数据同步工具, 连接池 | 迁移对消费链路的影响分析 |
| 诊断工具 | Arthas, jstack, jstat, Kafka Tool, Grafana | 现场诊断、日志分析、监控体系搭建 |
建议前置知识： 了解Kafka基本架构（Producer/Broker/Consumer）、JVM内存模型（堆/栈/元空间）、以及基本的Linux性能分析命令（top/pidstat/iostat）。