1. 课程导论与目标：Kafka 性能调优的重要性、压测闭环方法论概述、课程大纲与学习目标

1.1 为什么 Kafka 性能调优如此重要？

Apache Kafka 已成为现代数据架构的核心枢纽，承担着日志采集、消息削峰、事件驱动、流式计算等关键职责。然而，在生产环境中，Kafka 集群常常面临以下性能痛点：

• 吞吐量瓶颈：分区数、副本因子、网络带宽、磁盘 I/O 配置不当导致生产/消费速率远低于硬件上限。
• 延迟抖动：端到端延迟（E2E Latency）在峰值流量下从毫秒级飙升至秒级，影响实时业务。
• 资源浪费：CPU、内存、磁盘、网络资源利用率不均衡，集群规模与业务负载不匹配。
• 稳定性风险：Rebalance 频繁、ISR 收缩、日志段（Log Segment）管理不当引发数据丢失或重复消费。

1.2 压测闭环方法论概述

本课程的核心方法论——压测闭环（Benchmarking Closed Loop），将性能调优拆解为四个可迭代的阶段：

1. 基线建立（Baseline）：在标准化测试环境下，使用固定负载模型（如 1KB 消息、3 副本、acks=1）获取集群的初始性能基线。
2. 瓶颈定位（Bottleneck）：通过监控指标（CPU、磁盘 I/O、网络吞吐、GC 频率）和压测工具（kafka-producer-perf-test、kafka-consumer-perf-test）定位性能短板。
3. 参数调优（Tuning）：针对瓶颈调整 Broker、Producer、Consumer、OS 及 JVM 参数，每次只改变一个变量。
4. 验证回归（Validation）：在相同负载下重新压测，对比基线指标，确认优化效果并防止负优化。

1.3 课程大纲与学习目标

本课程共 30 章，覆盖从环境搭建、工具使用、参数调优到生产实战的全链路知识。以下是核心模块与对应学习目标：

1.4 性能调优的核心指标定义

在进入具体调优之前，统一以下关键指标的定义与度量方式：

1.5 本章小结与行动清单

• 理解压测闭环：基线建立 → 瓶颈定位 → 参数调优 → 验证回归，形成持续迭代的调优文化。
• 明确核心指标：吞吐量、延迟（E2E & P99）、CPU/磁盘/网络利用率是调优的“仪表盘”。
• 准备学习环境：确保本地或云环境可以运行 Kafka 3.x 集群（推荐使用 Docker Compose 快速部署）。
• 建立基线意识：在开始任何调优之前，先跑一次标准压测，记录初始数据。