VIP20
本课程属于：049-API设计治理Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

API设计治理：Kafka堆积问题中的性能调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Kafka堆积问题的定义 · 堆积对API治理的典型影响 · 本课程目标与学习路径
课程导论Kafka
02
Kafka核心架构回顾
Topic · Partition · Broker
Kafka核心架构回顾
03
堆积问题根因分析框架
从生产者 · 消费者 · Broker
堆积问题根因分析…从生产者
04
生产者端性能瓶颈
消息发送模式（同步/异步/批量） · acks配置 · batch.size与linger.…
生产者端性能瓶颈消息发送模式
05
生产者端调优实战
调整压缩算法（gzip/snappy… · 缓冲区大小 · 重试机制与幂等性配置
生产者端调优实战gzip/snappy
06
消费者端性能瓶颈
消费模式（poll/assign） · max.poll.records · fetch.min.bytes
消费者端性能瓶颈poll/assign
07
消费者端调优实战
合理设置并发消费者数 · 分区分配策略（Range/Round… · 心跳与session超时
消费者端调优实战合理设置并发消费…
08
消费端反压与背压机制
使用pause/resume API · 动态调整消费速率 · 结合API限流策略
消费端反压背压机制
09
Broker端性能瓶颈
磁盘I/O · 网络带宽 · Page Cache
Broker端性能瓶颈
10
Broker端调优实战
调整num.replica.fetc… · replica.fetch.max.… · unclean.leader.ele…
Broker端调优实战
11
Topic与Partition设计对堆积的影响
分区数选择 · 副本因子 · 日志保留策略（retention.m…
TopicPartition
12
API设计对堆积的直接影响
消息体大小 · 消息格式设计 · 批量接口与流式接口的选择
API设计对堆积的直接…
13
API治理视角下的消息契约设计
使用Avro/Protobuf Sc… · 兼容性策略（Backward/For…
API治理视角下的消息…
14
监控与告警体系搭建
关键指标（Lag · BytesIn/Out · RequestQueueSize）
监控告警体系搭建
15
堆积问题排查工具实战
kafka-consumer-gro… · kafka-run-class.sh · JMX监控
堆积问题排查工具…kafka-consum…
16
案例实战一
生产者发送过慢导致堆积——定位 · 参数调整 · 代码重构
案例实战一生产者发送过慢导…
17
案例实战二
消费者处理能力不足导致堆积——扩容 · 并行度优化 · 业务逻辑异步化
案例实战二消费者处理能力不…
18
案例实战三
Broker磁盘IO瓶颈导致全局堆积… · 分区迁移 · 限流策略
案例实战三Broker
19
案例实战四
API设计不合理导致消息膨胀——消息… · 字段裁剪 · 使用引用数据
案例实战四API
20
案例实战五
网络抖动与重试风暴导致堆积——重试退… · 连接池优化 · 幂等设计
案例实战五网络抖动
21
高级调优
Kafka事务与幂等性在堆积场景下的…
高级调优Kafka
22
高级调优
Kafka Streams与KSQL…
高级调优Kafka
23
高级调优
分层存储（Tiered Storag…
高级调优Tiered
24
高级调优
使用Kafka Connect进行数… · 避免ETL环节堆积
高级调优Kafka
25
API治理策略一
定义SLA与SLO——基于Lag的告… · 响应时间目标
API治理策略一
26
API治理策略二
建立容量规划与压测机制——使用kaf…
API治理策略二
27
API治理策略三
自动化运维与自愈——基于Lag的弹性… · 自动Rebalance策略
API治理策略三
28
API治理策略四
变更管理——Topic配置变更 · 消费者组变更的灰度与回滚方案
API治理策略四
29
综合实战
从零搭建一个抗堆积的Kafka消息系… · 参数选型 · API规范
综合实战Kafka
30
课程总结与最佳实践
Kafka堆积治理的Checklis… · 常见误区 · 持续优化建议
课程总结最佳实践