VIP20
本课程属于：007-消息队列任务读写分离蓝图 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka消费者堆积与读写分离优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
MQ读写分离架构概述 · Kafka消息堆积的危害与诊断价值 · 课程目标与学习路径
课程导论MQ
02
MQ基础回顾
消息队列核心概念（Producer · Consumer · Topic
MQ基础回顾
03
Kafka核心架构
Kafka集群组成 · Zookeeper角色 · Controller选举
Kafka核心架构
04
读写分离架构设计
读写分离概念 · MQ中读写分离的实现方式（主从 · Proxy层）
读写分离架构设计读写分离概念
05
Kafka生产端原理
生产者发送流程 · 分区策略（轮询 · Hash
Kafka生产端原理
06
Kafka消费端原理
消费者组与重平衡（Rebalance… · 位移提交（自动/手动） · 消费模式（At-least-once…
Kafka消费端原理
07
消息堆积定义与度量
什么是消息堆积 · 堆积深度（Lag） · 堆积速率
消息堆积定义度量
08
消息堆积根因分析框架
诊断方法论（OSI模型分层排查） · 常见根因分类（生产端 · 消费端
消息堆积根因分析…OSI
09
生产端导致堆积的原因
生产者发送过慢 · 批量发送参数不当（linger.ms… · 重试机制导致阻塞
生产端导致堆积的…生产者发送过慢
10
消费端导致堆积的原因（上）
消费者处理能力不足（CPU/IO瓶颈… · 消费逻辑耗时过长（数据库查询 · RPC调用）
消费端导致堆积的…CPU/IO
11
消费端导致堆积的原因（下）
消费者数量与分区数不匹配 · Rebalance频繁触发 · 位移提交策略错误（自动提交导致重复消…
消费端导致堆积的…消费者数量
12
Broker端导致堆积的原因
磁盘I/O瓶颈（Page Cache… · 网络带宽饱和 · 分区Leader迁移
Broker端导致堆积的原因
13
网络与客户端配置导致堆积
网络延迟与丢包 · 客户端参数配置不当（fetch.mi… · SSL/TLS握手开销
网络客户端配置导致堆…
14
消息堆积监控体系
关键监控指标（Lag · BytesIn/Out · Request Time）
消息堆积监控体系Lag
15
Kafka Lag监控实战
使用kafka-consumer-g… · 使用JMX暴露指标 · 自定义Lag告警规则
KafkaLag
16
消息堆积诊断工具（上）
命令行工具（kafka-run-cl… · kafka-dump-log.sh） · 日志分析（server.log
消息堆积诊断工具kafka-run-cl
17
消息堆积诊断工具（下）
开源诊断平台（Kafka Eagle · Know Streaming） · Trace工具（Zipkin
消息堆积诊断工具Kafka
18
读写分离场景下的堆积诊断
主从同步延迟导致堆积 · Proxy层瓶颈 · 读写分离路由策略错误
读写分离场景下的…主从同步延迟导致…
19
案例实战一
消费端慢SQL导致堆积——诊断过程（… · 优化索引 · 异步化改造）
案例实战一SQL
20
案例实战二
生产端批量发送参数不当导致堆积——参… · batch.size · compression.type）
案例实战二生产端批量发送参…
21
案例实战三
Rebalance风暴导致堆积——诊… · 增大session.timeout.… · 减少非必要Consumer）
案例实战三Rebalance
22
案例实战四
Broker磁盘I/O瓶颈导致堆积—… · 使用SSD · 调整log.flush.interv…
案例实战四Broker
23
案例实战五
网络带宽饱和导致堆积——诊断（ift… · nload） · 优化（压缩
案例实战五ift
24
消息堆积的应急处理方案
临时扩容消费者 · 重置消费位移（跳过堆积） · 限流降级
消息堆积的应急处…临时扩容消费者
25
消息堆积的长期治理策略
容量规划（分区数 · 副本数） · 异步化与削峰填谷
消息堆积的长期治…容量规划
26
Kafka性能调优（上）
操作系统调优（文件句柄 · 网络参数 · 内核参数）
Kafka性能调优
27
Kafka性能调优（下）
Broker参数调优（num.net… · num.io.threads · log.segment.bytes）
Kafka性能调优
28
读写分离架构的高可用设计
主从切换机制 · 数据一致性保证（同步复制/异步复制） · 故障转移策略
读写分离架构的高…主从切换机制
29
Kafka消息堆积诊断自动化
基于规则引擎的自动诊断 · AI/ML在异常检测中的应用 · ChatOps集成告警与修复
Kafka消息堆积诊断自动…
30
课程总结与展望
核心知识点回顾 · 最佳实践总结 · 未来趋势（Kafka on Kube…
课程总结核心知识点回顾