VIP20
本课程属于：007-消息队列任务读写分离蓝图 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka消息队列读写分离与堆积诊断

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka基础回顾
Kafka核心概念（Topic · Partition · Broker
Kafka基础回顾
02
读写分离架构概述
什么是读写分离 · 为什么要在Kafka中引入读写分离 · 读写分离的典型应用场景
读写分离架构概述什么是读写分离
03
Kafka读写分离核心组件
Controller · Follower副本 · Leader副本
Kafka读写分离核心组件
04
生产者写入流程
Producer发送消息到Leade… · acks参数对写入可靠性的影响
生产者写入流程Producer
05
消费者读取流程
Consumer从Leader/Fo… · FetchRequest与Fetch…
消费者读取流程Consumer
06
Follower副本同步机制
LEO与HW的概念 · Follower拉取消息的流程 · ISR动态维护与Epoch机制
Follower副本同步机制
07
读写分离策略一
基于ReplicaSelector的…
读写分离策略一ReplicaSelec…
08
读写分离策略二
Rack Awareness与机架感… · 减少跨机房流量
读写分离策略二Rack
09
读写分离策略三
自定义分区分配器实现读写分离 · 权重配置与动态调整
读写分离策略三自定义分区分配器…
10
读写分离的优缺点分析
降低Leader压力 · 提升读吞吐量 · 增加数据一致性延迟
读写分离的优缺点…Leader
11
消息堆积定义与危害
什么是消息堆积 · 堆积对系统延迟 · 磁盘
消息堆积定义危害
12
消息堆积诊断前置条件
监控指标采集（JMX · Prometheus · Grafana）
消息堆积诊断前置…JMX
13
诊断指标一
Consumer Lag深度分析 · Lag计算方式 · Lag突增的常见原因
诊断指标一Consumer
14
诊断指标二
生产端指标（RequestRate · BytesInPerSec · ErrorRate）与堆积的关系
诊断指标二RequestRate
15
诊断指标三
消费端指标（RecordsLagMa… · FetchRate · BytesOutPerSec
诊断指标三RecordsLagMa
16
诊断指标四
Broker端指标（NetworkP… · RequestHandlerAvgI… · UnderReplicatedPar…
诊断指标四Broker
17
诊断工具一
使用kafka-consumer-g…
诊断工具一kafka-consum…
18
诊断工具二
使用kafka-log-dirs.s…
诊断工具二kafka-log-di…
19
诊断工具三
Cruise Control与Bur…
诊断工具三Cruise
20
堆积根因分析一
生产者端问题（批量大小不合理 · 压缩算法选择 · 重试机制导致背压）
堆积根因分析一生产者端问题
21
堆积根因分析二
消费者端问题（处理能力不足 · GC停顿 · 消费逻辑阻塞
堆积根因分析二消费者端问题
22
堆积根因分析三
Broker端问题（磁盘IO瓶颈 · 网络带宽饱和 · Page Cache压力
堆积根因分析三Broker
23
堆积根因分析四
读写分离场景下的特殊问题（Follo… · ISR频繁收缩）
堆积根因分析四Follo
24
堆积解决方案一
扩容与分区重分配（增加Partiti… · 增加Consumer实例 · 调整分区Leader分布）
堆积解决方案一Partiti
25
堆积解决方案二
消费者性能优化（批量拉取 · 异步处理 · 调整fetch.max.bytes与…
堆积解决方案二消费者性能优化
26
堆积解决方案三
生产者限流与背压控制（使用RateL… · 调整max.in.flight.re…
堆积解决方案三RateL
27
堆积解决方案四
读写分离场景下的针对性调优（调整re… · min.insync.replica… · unclean.leader.ele…
堆积解决方案四re
28
实战案例一
电商大促场景下消息堆积的快速诊断与恢…
实战案例一电商大促场景下消…
29
实战案例二
跨机房读写分离架构下Follower…
实战案例二Follower
30
课程总结与最佳实践
读写分离架构设计原则 · 消息堆积预防体系 · 持续监控与容量规划建议
课程总结最佳实践