VIP20
本课程属于：049-API设计治理Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka堆积诊断：API design与慢查询根因定位

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka堆积概述
什么是消息堆积 · 堆积的危害 · 堆积的典型场景（日志
Kafka堆积概述
02
Kafka核心架构回顾
Producer · Broker · Consumer
Kafka核心架构回顾
03
堆积诊断前置知识
ISR机制 · HW与LEO · Replica同步延迟对堆积的影响
堆积诊断前置知识ISR
04
API设计总览
Kafka AdminClient · Consumer API · Producer API
API设计总览
05
AdminClient API详解
describeCluster · describeTopics · describeConsumerGr…
AdminClientAPI
06
Consumer API详解
poll · commitSync · commitAsync
ConsumerAPI
07
Producer API详解
send · flush · partitioner
ProducerAPI
08
监控指标API
JMX MBean · Kafka Metrics Repo… · Prometheus JMX Exp…
API监控指标
09
堆积诊断API实战
编写Python脚本获取每个Part…
API堆积诊断
10
堆积诊断API实战
编写Java程序通过AdminCli…
API堆积诊断
11
慢查询根因定位概述
什么是慢查询 · 慢查询在Kafka中的表现形式（高延… · 低吞吐
慢查询根因定位概…什么是慢查询
12
慢查询根因之Broker端
磁盘I/O瓶颈 · 网络带宽瓶颈 · Page Cache压力
Broker慢查询根因之
13
慢查询根因之Producer端
批量大小设置不当 · acks配置过高 · 压缩算法选择
Producer慢查询根因之
14
慢查询根因之Consumer端
消费线程模型不合理 · poll间隔过长 · max.poll.records设置…
Consumer慢查询根因之
15
慢查询根因之Topic与Partition设计
Partition数量过少 · Key分布不均 · 日志段配置不合理
TopicPartition
16
慢查询根因之网络与协议
请求超时 · Fetch请求大小 · 网络延迟
慢查询根因之网络协议
17
慢查询根因之Rebalance
Eager Rebalance vs… · Rebalance耗时分析 · 静态成员组
Rebalance慢查询根因之
18
慢查询根因之存储层
日志压缩 · 索引文件 · Segment文件大小
慢查询根因之存储…日志压缩
19
慢查询根因之操作系统
文件描述符限制 · Socket缓冲区大小 · Swappiness
慢查询根因之操作…文件描述符限制
20
慢查询根因之客户端库
Java客户端 vs 其他语言客户端 · 版本兼容性 · 连接池管理
慢查询根因之客户…Java
21
诊断工具链
kafka-consumer-gro… · kafka-run-class.sh · kafka-dump-log.sh
诊断工具链kafka-consum…
22
诊断工具链
Cruise Control · Burrow · Kafka Lag Exporter
诊断工具链Cruise
23
诊断工具链
Grafana + Promethe… · 关键指标面板设计
诊断工具链Grafana
24
根因定位方法论
从现象到根因的5Why分析法 · 假设驱动排查 · A/B测试验证
根因定位方法论Why
25
根因定位方法论
火焰图分析CPU热点 · JVM堆转储分析 · 线程Dump分析
根因定位方法论CPU
26
根因定位方法论
网络抓包（tcpdump/Wires…
根因定位方法论tcpdump/Wire…
27
案例实战1
某日志系统堆积——Producer批…
案例实战1Producer
28
案例实战2
某支付系统堆积——Consumer频…
案例实战2Consumer
29
案例实战3
某实时数仓堆积——Partition…
案例实战3Partition
30
总结与最佳实践
堆积预防体系 · 容量规划 · 自动化告警
最佳实践堆积预防体系