VIP20
本课程属于：007-消息队列任务读写分离蓝图 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka读写分离性能调优：分区分配与消费延迟解决

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka基础架构
Broker · Topic · Partition
Kafka基础架构
02
读写分离原理
Leader与Follower角色 · ISR机制 · ACK确认级别对读写分离的影响
读写分离原理Leader
03
分区分配策略
RangeAssignor · RoundRobinAssignor · StickyAssignor
分区分配策略RangeAssigno…
04
自定义分区器
实现Partitioner接口 · 基于Key哈希 · 基于业务字段
自定义分区器Partitioner
05
分区数调优
分区数对吞吐量的影响 · 分区数过多/过少的弊端 · 分区数计算公式与最佳实践
分区数调优分区数对吞吐量的…
06
副本因子与ISR配置
min.insync.replica… · replication.factor · unclean.leader.ele…
ISR副本因子
07
消费延迟定义
Lag概念 · Lag监控指标 · Lag产生原因分析（网络
消费延迟定义Lag
08
消费延迟诊断工具
kafka-consumer-gro… · JMX监控 · Prometheus+Grafana
消费延迟诊断工具kafka-consum…
09
消费端参数调优
fetch.min.bytes · fetch.max.wait.ms · max.poll.records
消费端参数调优fetch.min.by…
10
批量消费优化
批量拉取 · 批量处理 · 批量提交offset的权衡与实现
批量消费优化批量拉取
11
顺序消费与分区内有序
单分区内有序保证 · 全局有序方案 · 分区分配对顺序消费的影响
顺序消费分区内有序
12
幂等性与事务
enable.idempotence · transactional.id · 读写分离场景下的事务边界
幂等性事务
13
生产者端调优
acks · linger.ms · batch.size
生产者端调优acks
14
网络与线程模型
网络线程数配置 · Selector模型 · 请求队列与响应队列调优
网络线程模型
15
磁盘I/O调优
页缓存机制 · 磁盘类型选择（SSD vs HDD） · 日志刷盘策略（flush.ms
I/O磁盘
16
内存调优
JVM堆内存 · 操作系统页缓存 · 堆外内存
内存调优JVM
17
CPU与GC调优
G1GC vs CMS · Young GC与Full GC优化 · CPU绑定与隔离
CPUGC
18
重平衡机制
Rebalance触发条件 · Rebalance过程 · 静态成员与动态成员
重平衡机制Rebalance
19
静态消费组
Static Membership原… · group.instance.id配… · 避免频繁Rebalance
静态消费组Static
20
增量协同重平衡
CooperativeStickyA… · 增量重平衡与全量重平衡对比
增量协同重平衡CooperativeS…
21
消费端故障转移
消费者宕机检测 · 分区再分配 · offset提交与恢复策略
消费端故障转移消费者宕机检测
22
读写分离下的数据一致性
Leader切换时数据丢失风险 · HW与LEO · Epoch机制
读写分离下的数据…Leader
23
跨机房读写分离
跨DC复制 · MirrorMaker2 · Cluster Linking
跨机房读写分离DC
24
监控与告警体系
关键指标（BytesIn/Out · TotalTime · RequestQueueSize）
监控告警体系
25
压力测试方法
使用kafka-producer-p… · kafka-consumer-per… · 自定义压测脚本
压力测试方法kafka-produc…
26
常见问题排查
消息积压 · 消费倾斜 · 分区Leader分布不均
常见问题排查消息积压
27
案例实战1
高吞吐写入场景下的分区分配与生产者参…
案例实战1高吞吐写入场景下…
28
案例实战2
低延迟消费场景下的消费端参数与Reb…
案例实战2Reb
29
案例实战3
跨集群读写分离架构设计与延迟解决
案例实战3跨集群读写分离架…
30
课程总结
读写分离最佳实践清单 · 性能调优Checklist · 持续优化方法论
课程总结读写分离最佳实践…