VIP20
本课程属于：007-消息队列任务读写分离蓝图 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka读写分离性能优化：批量处理与压缩算法选择

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Kafka读写分离架构概述 · 性能瓶颈分析 · 批量处理与压缩的核心价值
课程导论Kafka
02
Kafka基础回顾
Topic · Partition · Replica
Kafka基础回顾
03
读写分离架构原理
Leader与Follower角色 · ISR机制 · 数据同步流程
读写分离架构原理Leader
04
读写分离部署模式
单集群内分离 · 多集群镜像 · Proxy代理层分离方案对比
读写分离部署模式单集群内分离
05
批量处理基础
批量发送与批量拉取的概念 · batch.size与fetch.m…
批量处理基础批量发送
06
批量发送机制详解
Producer端RecordAcc… · Sender线程 · 批次构建与超时策略
批量发送机制详解Producer
07
批量拉取机制详解
Consumer端FetchRequ… · Fetcher线程 · max.poll.records与m…
批量拉取机制详解Consumer
08
批量大小调优
如何根据消息大小 · 吞吐量 · 延迟要求设置batch.size与l…
批量大小调优如何根据消息大小
09
批量处理与内存管理
缓冲区大小(buffer.memor… · 内存池设计 · 避免OOM的策略
批量处理内存管理
10
批量处理与幂等性/事务
enable.idempotence…
批量处理幂等性
11
压缩算法概述
压缩在Kafka中的作用 · CPU与网络带宽的权衡 · 压缩发生在哪个阶段
压缩算法概述Kafka
12
Gzip压缩
原理 · 压缩比 · CPU开销
Gzip压缩
13
Snappy压缩
原理 · 压缩速度 · 压缩比
Snappy压缩
14
LZ4压缩
原理 · 解压速度 · 平衡性
LZ4压缩
15
Zstandard压缩
原理 · 高压缩比 · 可调级别
Zstandard压缩
16
压缩算法对比实验
相同数据集下Gzip/Snappy/… · 吞吐量 · 延迟对比表
压缩算法对比实验Gzip/Snappy
17
压缩与批量处理的协同
批量越大压缩比越高 · 如何联合调优batch.size与c…
压缩批量处理的协同
18
读写分离下的压缩策略
Producer端压缩 · Broker端解压/重压缩 · Consumer端解压的路径分析
读写分离下的压缩…Producer
19
读写分离下的批量策略
Follower批量拉取优化 · Consumer从Follower批…
读写分离下的批量…Follower
20
性能监控指标
批量大小监控 · 压缩率监控 · 端到端延迟
性能监控指标批量大小监控
21
性能测试方法论
使用kafka-producer-p…
性能测试方法论kafka-produc…
22
案例实战一
高吞吐日志场景——选择Snappy压…
案例实战一Snappy
23
案例实战二
低延迟支付场景——选择LZ4压缩与较…
案例实战二LZ4
24
案例实战三
有限带宽跨机房场景——选择Zstd压…
案例实战三Zstd
25
读写分离架构下的常见陷阱
Follower读取延迟 · 分区倾斜 · 压缩导致CPU瓶颈
读写分离架构下的…Follower
26
高级调优
使用Kafka Streams或Ka…
高级调优Kafka
27
Kafka 3.x新特性
弹性读写分离 · 新的压缩算法支持 · 批量处理改进
Kafkax新特性
28
自动化调优工具
Cruise Control · Kafka Lag Monitor · 自定义监控看板
自动化调优工具Cruise
29
综合调优决策树
根据业务场景(吞吐优先/延迟优先/成…
综合调优决策树根据业务场景
30
课程总结与最佳实践
读写分离+批量+压缩的黄金配置公式 · 未来趋势展望
课程总结最佳实践