1. 慢查询复盘概述

1.1 什么是 Kafka 慢查询

在 Kafka 生产环境中，“慢查询”并非指 SQL 语句执行缓慢，而是指 消息从生产者发送到消费者接收的端到端延迟超出预期阈值，或 特定请求（如 Fetch、Produce、Offset 查询）在 Broker 内部的处理时间显著高于基线。慢查询的本质是系统响应时间劣化，通常表现为 P99 延迟飙升、消费者 Lag 持续增长、或 Broker 线程阻塞。

Kafka 慢查询的常见表现包括：

• 生产者端： acks=all 时等待副本确认超时，发送重试次数增加。
• Broker 端： 请求队列堆积，网络线程池繁忙，磁盘 I/O 等待升高。
• 消费者端： 拉取请求返回空或超时，消费位移提交失败。
• 控制器端： Leader 选举或分区重分配期间元数据更新延迟。

1.2 慢查询对生产环境的影响

慢查询在 Kafka 生产集群中会引发连锁反应，影响范围从单条消息延迟扩散到整个数据管道。下表总结了不同层面的影响：

1.3 慢查询根因分类

根据生产环境复盘经验，Kafka 慢查询的根因可归纳为以下四大类：

1. 硬件与操作系统层： 磁盘 IOPS 不足、网络带宽瓶颈、内存 Page Cache 命中率低。
2. Broker 配置层： num.network.threads / num.io.threads 过小、log.flush.interval 不合理、压缩算法选择不当。
3. 客户端行为层： 生产者 batch.size 过大或过小、消费者 max.poll.records 过高、fetch.min.bytes 设置错误。
4. 架构设计层： 分区数不合理、Topic 数据倾斜、跨机房复制延迟、Controller 单点瓶颈。

1.4 复盘课程目标

本课程旨在帮助运维架构师建立一套完整的 Kafka 慢查询复盘体系，具体目标如下：

• 识别能力： 掌握慢查询的监控指标、告警阈值和日志特征，能够快速判断是否发生慢查询。
• 定位能力： 熟练使用 Kafka 内置工具（kafka-dump-log、kafka-run-class）和外部工具（JMX、Prometheus、Grafana）定位瓶颈点。
• 分析能力： 能够从 Broker 日志、客户端指标、操作系统指标三个维度交叉分析，找出根因。
• 修复能力： 针对不同根因给出可落地的配置优化、架构调整或代码修复方案。
• 预防能力： 建立慢查询巡检清单和容量规划模型，避免同类问题重复发生。

1.5 学习路径与章节规划

课程共 30 章，按“基础 → 诊断 → 根因 → 修复 → 预防”五阶段递进：

1.6 学习前置要求