VIP20
本课程属于：007-消息队列任务读写分离蓝图 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka消息积压诊断与消费优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
消息堆积概述
什么是Kafka消息堆积 · 堆积产生的业务影响 · 堆积与延迟的区别
消息堆积概述Kafka
02
Kafka核心架构回顾
Producer · Broker · Consumer
Kafka核心架构回顾
03
消息生产原理
Producer发送流程 · 批次(batch)机制 · acks与重试
消息生产原理Producer
04
消息消费原理
Consumer拉取模型 · poll循环 · 位移提交(自动/手动)
消息消费原理Consumer
05
堆积根因分析框架
从生产端 · Broker端 · 消费端三个维度定位堆积原因
堆积根因分析框架从生产端
06
生产端导致堆积
发送速率过高 · key倾斜导致分区不均 · 批次参数不合理
生产端导致堆积发送速率过高
07
Broker端导致堆积
磁盘IO瓶颈 · 网络带宽饱和 · PageCache压力
Broker端导致堆积
08
消费端导致堆积(上)
消费者处理能力不足 · 单线程消费 · 业务逻辑耗时过长
消费端导致堆积消费者处理能力不…
09
消费端导致堆积(下)
Rebalance频繁 · 位移提交阻塞 · 消费者组内分区分配不均
消费端导致堆积Rebalance
10
监控与告警体系
JMX指标 · Lag监控(Consumer Lag… · Prometheus+Grafana…
监控告警体系
11
Kafka内置工具诊断
kafka-consumer-gro… · kafka-run-class.sh · kafka-dump-log.sh
Kafka内置工具诊断
12
日志与指标分析
Broker端server.log · Controller日志 · 慢消费者指标解读
日志指标分析
13
生产端优化策略
调整batch.size · linger.ms · compression.type
生产端优化策略batch.size
14
Broker端优化策略
调整num.io.threads · num.network.thread… · log.flush.interval
Broker端优化策略
15
消费端优化策略
增加消费者实例 · 调整max.poll.records · max.poll.interval.…
消费端优化策略增加消费者实例
16
分区重分配与扩容
增加分区数 · 分区重平衡( reassign ) · 手动迁移分区Leader
分区重分配扩容
17
消费组Rebalance优化
静态成员(Static Member… · 合作式Rebalance(Coope…
Rebalance消费组
18
位移提交深度解析
自动提交 vs 手动提交 · 异步提交 vs 同步提交 · 提交频率控制
位移提交深度解析vs
19
消息顺序性与堆积
全局顺序与分区顺序 · 单分区顺序消费 · 多分区乱序与堆积权衡
消息顺序性堆积
20
幂等性与事务对堆积的影响
幂等Producer · 事务性Producer · 事务性Consumer
幂等性事务对堆积的影响
21
Kafka Connect与堆积
Source Connector与S… · 任务并行度
KafkaConnect
22
Kafka Streams与堆积
任务并行度 · 状态存储 · 重新分区
KafkaStreams
23
云原生环境下的堆积诊断
容器化Kafka · 网络延迟 · 存储卷性能
云原生环境下的堆…Kafka
24
大消息与批量消息处理
消息体过大导致网络与存储瓶颈 · 批量消费与批量提交
大消息批量消息处理
25
死信队列与重试机制
重试队列设计 · 死信队列(DLQ)消费 · 跳过坏消息
死信队列重试机制
26
全链路压测与容量规划
压测工具(如kafka-produc… · 预估吞吐量 · 预留Buffer
全链路压测容量规划
27
典型堆积案例1
消费端慢SQL导致堆积 · 诊断与解决全过程
典型堆积案例1SQL
28
典型堆积案例2
Rebalance风暴导致消费停滞 · 诊断与解决全过程
典型堆积案例2Rebalance
29
典型堆积案例3
生产端key倾斜导致热点分区堆积 · 诊断与解决全过程
典型堆积案例3key
30
课程总结与最佳实践
堆积预防体系 · SLA制定 · 自动化巡检
课程总结最佳实践