1. 课程导论：Kafka压力测试的重要性、异常波动的定义与影响

1.1 为什么Kafka压力测试是生产环境的“安全阀”

Apache Kafka 作为现代分布式事件流平台的核心，承担着业务系统间数据管道、日志聚合、实时计算等关键职责。在生产环境中，Kafka 集群一旦出现性能瓶颈或异常抖动，往往会导致整个数据链路阻塞、消息积压、消费延迟，甚至引发级联故障。因此，压力测试是验证 Kafka 集群容量规划、配置参数、网络拓扑是否满足业务峰值负载的唯一手段。

压力测试的核心价值体现在以下三个维度：

• 容量验证：确认集群在当前硬件与配置下，能承载的最大吞吐量（MB/s）与消息数（msg/s）。
• 稳定性评估：观察长时间高负载下，集群是否出现分区 Leader 频繁切换、ISR 收缩、内存溢出等稳定性问题。
• 异常发现：暴露配置短板（如 num.io.threads 不足、replica.fetch.max.bytes 过小）和资源瓶颈（磁盘 IO、网络带宽、CPU 中断）。

1.2 异常波动的定义与典型表现

在压力测试过程中，异常波动是指集群性能指标（吞吐量、延迟、分区同步速率等）出现非预期的、剧烈的、非周期性的偏离。与正常的毛刺或系统冷启动阶段不同，异常波动通常意味着集群内部发生了某种故障或资源争抢。

异常波动的影响是多维度的：

• 业务层面：消息积压导致实时数据延迟，下游风控、推荐、监控系统失效。
• 运维层面：告警风暴、误判故障、增加排障时间成本。
• 成本层面：为应对异常而过度扩容，造成资源浪费。

1.3 本课程的学习目标与适用人群

本课程旨在建立一套系统化、可复现、工具化的 Kafka 压力测试异常波动数据回溯方法，帮助学员从“被动救火”转向“主动防御”。

学习目标

• 掌握压力测试全流程：场景设计 → 指标采集 → 异常识别 → 数据回溯 → 根因定位。
• 熟练使用 kafka-producer-perf-test、kafka-consumer-perf-test、JMX 监控、Prometheus + Grafana 等工具链。
• 能够独立分析吞吐量、延迟、ISR、GC、磁盘 IO 等关键指标的异常波动图谱。
• 建立异常波动的“数据回溯档案”，形成团队可共享的知识库。

适用人群

1.4 异常波动数据回溯的核心流程

下图展示了本课程贯穿始终的“五步回溯法”框架，从异常触发到根因确认形成闭环。

1.5 课程内容概览与学习路径

本课程共 30 章，分为四大模块，建议按顺序学习，也可根据角色跳转重点章节：