1. 课程导论：Kafka分区数与尾延迟的关系概述、课程目标与学习路径、前置知识要求
1.1 为什么分区数会影响尾延迟？
在Kafka生产环境中，分区数是吞吐与延迟之间最关键的杠杆。增加分区数可以提升并行消费能力，但并非线性收益——当分区数超过某个阈值时，尾延迟（Tail Latency，通常指P99.9或P99.99延迟）会急剧恶化。这种“分区数-尾延迟”的非线性传导关系，是构建高SLA消息系统的核心挑战。
尾延迟的恶化主要来自三个传导路径：
- 磁盘I/O争抢：每个分区对应一组日志段文件，分区数越多，顺序写退化为随机写，磁盘寻道时间增加。
- 网络线程瓶颈：Broker端网络线程（Processor/Handler）需要为更多分区维护连接和请求队列，上下文切换开销上升。
- 消费者Rebalance放大：分区数过多导致消费者组重平衡时间变长，期间消费中断，尾延迟飙升。
关键认知： 分区数不是越大越好。每个Broker存在一个“最佳分区数区间”，超出该区间后，吞吐不再增长，尾延迟反而陡增。
1.2 课程目标
本课程旨在帮助学员建立从分区数配置 → 系统资源竞争 → 尾延迟恶化的完整分析链路，并掌握可复现的压测方法论。完成本课程后，学员将能够：
| 目标维度 | 具体能力 | 交付物 |
|---|---|---|
| 理论 | 理解分区数、ISR、Ack模式与尾延迟的数学关系 | 传导模型图 + 公式推导 |
| 压测 | 独立设计分区数梯度压测方案，采集P99.9/P99.99指标 | 压测脚本 + 数据采集模板 |
| 分析 | 通过火焰图、磁盘IOPS、GC日志定位尾延迟根因 | 分析报告模板 + 根因定位清单 |
| 调优 | 给出分区数、线程池、批次大小的联合调优建议 | 调优决策树 + 配置推荐表 |
1.3 学习路径
课程按“理论 → 压测 → 分析 → 调优”四阶段递进，共30章。以下为前10章的核心路径：
- 第1章（本章）：课程导论与前置知识回顾
- 第2-4章：Kafka存储模型、网络模型、副本同步机制深度解析
- 第5-7章：尾延迟度量体系、压测工具链（Kafka自研压测框架 + wrk2 + JMH）
- 第8-10章：分区数梯度压测实战（8分区、16分区、32分区、64分区、128分区）
- 第11-20章：磁盘I/O、网络线程、GC、PageCache逐层分析
- 第21-30章：联合调优、生产案例、容量规划与SLA保障
学习建议： 每章都配有可复现的压测脚本和数据集。建议在3台以上物理机或同等规格的云主机上实操，避免单机环境掩盖资源竞争效应。
1.4 前置知识要求
本课程面向有1年以上Kafka使用经验的开发者或运维人员。以下为必须掌握的前置知识：
| 领域 | 具体要求 | 推荐自检方式 |
|---|---|---|
| Kafka基础 | Topic/Partition/Replica/ISR概念；Producer/Consumer API使用 | 能独立创建Topic并完成生产消费 |
| Linux系统 | CPU/内存/磁盘IOPS/网络吞吐指标查看（top/iostat/sar/ss） | 能解释iostat中await与svctm的区别 |
| JVM基础 | GC日志解读、堆内存结构、G1/ZGC基本参数 | 能从GC日志中识别Full GC次数和停顿时间 |
| 压测常识 | 吞吐量（TPS）、延迟（Avg/P99/P99.9）、并发数关系 | 能画出“吞吐-延迟”拐点曲线 |
注意： 如果对上述前置知识不熟悉，建议先复习《Kafka权威指南》第1-6章和《Linux性能优化实战》相关章节。本课程不会重复讲解基础API用法。
1.5 本章小结
本章建立了课程的整体框架：
- 核心问题：分区数增加如何通过磁盘I/O、网络线程、Rebalance三条路径传导至尾延迟。
- 课程目标：从理论到调优，掌握分区数-尾延迟的完整分析链路。
- 学习路径：四阶段递进，每章配有可复现的压测脚本。
- 前置知识：Kafka基础、Linux性能、JVM GC、压测常识缺一不可。