VIP20
本课程属于：049-API设计治理Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka堆积诊断：从API设计到性能调优的完整路径

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka堆积概述
什么是消息堆积 · 堆积产生的根本原因 · 堆积对系统的影响
Kafka堆积概述
02
Kafka核心API设计
Producer API · Consumer API · AdminClient API的设计…
KafkaAPI
03
Producer发送机制
分区策略 · acks配置 · 重试机制
Producer发送机制
04
Consumer消费模型
消费组与分区分配策略（Range · RoundRobin · Sticky
Consumer消费模型
05
Offset管理
自动提交与手动提交 · Offset重置策略 · __consumer_offsets…
Offset管理
06
Rebalance机制
Rebalance触发条件 · Rebalance过程 · Rebalance对堆积的影响
Rebalance机制
07
堆积监控指标
Kafka JMX指标（BytesI… · BytesOut · MessagesIn
堆积监控指标Kafka
08
堆积诊断工具
kafka-consumer-gro… · kafka-run-class.sh · Burrow
堆积诊断工具kafka-consum…
09
堆积根因分析
Producer端瓶颈（网络 · 序列化 · 批次大小）
堆积根因分析Producer
10
Broker端性能调优
磁盘I/O（顺序读写 · 页缓存） · 网络吞吐量
Broker端性能调优
11
Topic与分区设计
分区数选择策略 · 分区键设计 · 日志段配置（segment.byte…
Topic分区设计
12
Producer性能调优
batch.size · linger.ms · compression.type
Producer性能调优
13
Consumer性能调优
fetch.min.bytes · fetch.max.wait.ms · max.poll.records
Consumer性能调优
14
消费线程模型优化
单线程 vs 多线程 · 分区内有序性保证 · 线程池设计模式
消费线程模型优化vs
15
序列化与反序列化优化
Avro · Protobuf · JSON性能对比
序列化反序列化优化
16
网络与连接调优
TCP参数（tcp_nodelay · send_buffer_size） · 连接池管理
网络连接调优
17
内存与GC调优
JVM堆内存设置 · GC算法选择（G1 · ZGC）
GC内存
18
磁盘与文件系统调优
文件系统选择（XFS · ext4） · 磁盘RAID配置
磁盘文件系统调优
19
堆积告警与自动化处理
基于Prometheus + Gra… · 自动扩容Consumer Group
堆积告警自动化处理
20
Kafka集群扩容
新增Broker · 分区重分配 · 数据迁移策略
Kafka集群扩容
21
Kafka版本升级
滚动升级 · 协议兼容性 · 升级前后性能对比
Kafka版本升级
22
Kafka与流处理框架集成
Kafka Streams · Spark Streaming · Flink的背压机制与堆积处理
Kafka流处理框架集成
23
Kafka与消息队列对比
RabbitMQ · Pulsar · RocketMQ在堆积场景下的优劣
Kafka消息队列对比
24
Kafka安全与堆积
ACL配置 · SASL认证对性能的影响 · 加密传输开销
Kafka安全
25
Kafka多数据中心部署
MirrorMaker · Cluster Linking · 跨DC堆积同步
Kafka多数据
26
Kafka日志与调试
server.log · controller.log · 状态机日志
Kafka日志
27
Kafka性能测试
使用kafka-producer-p… · kafka-consumer-per… · OpenMessaging Benc…
Kafka性能测试
28
Kafka堆积案例实战
电商订单系统堆积诊断 · 日志采集系统堆积优化 · 实时数仓堆积处理
Kafka堆积案例实战
29
Kafka未来趋势
Kafka on Kubernete… · 分层存储 · KIP-848（新Consumer…
Kafka未来趋势
30
课程总结与最佳实践
堆积诊断Checklist · 性能调优Checklist · 持续监控与优化建议
课程总结最佳实践