VIP20
本课程属于：049-API设计治理Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka堆积诊断：从API design到连接池性能调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka堆积概述
什么是消息堆积 · 堆积的危害 · 堆积的常见场景与根因分类
Kafka堆积概述
02
Kafka核心API设计
Producer API · Consumer API · AdminClient API的设计…
KafkaAPI
03
Producer发送原理
分区器 · 拦截器 · 序列化器
Producer发送原理
04
Consumer消费模型
拉模式 vs 推模式 · 消费者组与分区分配策略（Range/…
Consumer消费模型
05
Offset管理机制
自动提交 vs 手动提交 · Offset存储位置 · 重置策略与堆积关系
Offset管理机制
06
堆积诊断第一步
监控指标体系——Lag · Rate · QueueSize
堆积诊断第一步Lag
07
堆积诊断第二步
客户端日志与异常分析——Timeou… · Rebalance · CommitFailed
堆积诊断第二步Timeou
08
堆积诊断第三步
服务端瓶颈排查——磁盘IO · 网络带宽 · CPU
堆积诊断第三步IO
09
堆积诊断第四步
Topic与Partition设计不… · Key倾斜 · 单分区瓶颈
堆积诊断第四步Topic
10
堆积诊断第五步
消息体过大与序列化性能——Avro/…
堆积诊断第五步Avro
11
连接池设计原理
通用连接池模式（GenericObj… · Kafka连接池与TCP连接复用
连接池设计原理GenericObj
12
Producer连接池调优
max.in.flight.requ… · batch.size · linger.ms
Producer连接池调优
13
Consumer连接池调优
fetch.min.bytes · fetch.max.wait.ms · max.poll.records
Consumer连接池调优
14
网络连接参数调优
tcp.nodelay · send.buffer.bytes · receive.buffer.byt…
网络连接参数调优tcp.nodelay
15
线程模型与并发消费
单线程 vs 多线程消费 · 线程池设计 · 顺序消费与并发安全
线程模型并发消费
16
Rebalance优化
静态分组 · Cooperative Rebala… · 避免频繁Rebalance的策略
Rebalance优化
17
幂等与事务对堆积的影响
enable.idempotence · transactional.id · Exactly-Once语义下的吞吐…
幂等事务对堆积的影响
18
压缩与批处理
gzip/snappy/lz4/zs… · 压缩对延迟与堆积的影响
压缩批处理
19
Ack机制深度解析
acks=0/1/all · min.insync.replica… · ISR与数据可靠性
Ack机制深度解析
20
服务端参数调优
num.network.thread… · num.io.threads · queued.max.request…
服务端参数调优num.network.…
21
磁盘与页缓存调优
log.segment.bytes · log.retention.byte… · page cache与direct…
磁盘页缓存调优
22
堆积告警与自动化处理
基于Lag的弹性伸缩 · Consumer自动扩容 · 死信队列与重试机制
堆积告警自动化处理
23
实战案例一
电商订单系统堆积——API设计不合理…
实战案例一API
24
实战案例二
日志采集系统堆积——Consumer…
实战案例二Consumer
25
实战案例三
实时风控系统堆积——消息体过大与序列…
实战案例三实时风控系统堆积
26
实战案例四
IoT设备数据堆积——分区倾斜与Ke…
实战案例四IoT
27
压测与基准测试
使用kafka-producer-p… · kafka-consumer-per… · 自定义压测脚本
压测基准测试
28
全链路诊断工具
Kafka Lag Exporter · Burrow · Cruise Control
全链路诊断工具Kafka
29
Kafka版本演进与堆积优化
9到3.x的关键改进（EOS · Raft · 弹性伸缩）
Kafka版本演进
30
课程总结与最佳实践
堆积诊断Checklist · 调优决策树 · 持续优化方法论
课程总结最佳实践