VIP20
本课程属于：051-消息队列任务索引选择复盘 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka索引与磁盘I O：消息队列写入性能调优工程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Kafka写入路径全景
从Producer到磁盘的完整数据流…
Kafka写入路径全景
02
Page Cache原理
操作系统页缓存如何加速Kafka写入…
PageCache
03
磁盘I/O模型
顺序写与随机写的性能差异及Kafka…
I/O磁盘
04
Segment文件结构
Log Segment的组成 · 命名规则与滚动策略
Segment文件结构
05
索引文件机制
OffsetIndex与TimeIn…
索引文件机制OffsetIndex
06
稀疏索引设计
为什么Kafka使用稀疏索引以及索引…
稀疏索引设计Kafka
07
mmap内存映射
MappedByteBuffer在索…
mmap内存映射
08
刷盘策略(flush)
flush.interval.ms与…
flush刷盘策略
09
acks参数深度解析
acks=0/1/all对吞吐量与持…
acks参数深度解析
10
batch.size与linger.ms
批量聚合如何减少磁盘I/O次数
batch.sizelinger.ms
11
compression压缩
gzip/snappy/lz4/zs…
compression压缩
12
buffer.memory与阻塞
Producer端内存池设计及max…
buffer.memor…阻塞
13
分区分配与写入均衡
Partitioner策略如何影响磁…
分区分配写入均衡
14
副本同步机制
ISR · LEO · HW与Follower的磁盘写入路径
副本同步机制ISR
15
min.insync.replicas
最小同步副本对写入可用性与持久性的影…
min.insync.r…最小同步副本对写…
16
unclean.leader.election
脏选举对数据一致性与写入性能的冲击
unclean.lead…脏选举对数据一致…
17
磁盘选型对比
HDD vs SSD vs NVMe…
磁盘选型对比HDD
18
RAID与文件系统
RAID0/10 · XFS/Ext4对Kafka写入性能…
RAID文件系统
19
磁盘容量规划
保留策略 · 日志压缩与磁盘空间预警机制
磁盘容量规划保留策略
20
Linux I/O调度器
noop/deadline/cfq对…
LinuxI/O
21
vm.dirty_ratio与vm.dirty_background_ratio
脏页回写调优
vm.dirtyratio
22
零拷贝技术
transferTo()在Kafka…
零拷贝技术transferTo
23
网络与磁盘的协同
Socket缓冲区与磁盘队列的背压机…
网络磁盘的协同
24
监控指标体系
Kafka内部指标与操作系统I/O指…
监控指标体系Kafka
25
压测方法论
使用kafka-producer-p…
压测方法论kafka-produc…
26
常见性能瓶颈案例
Page Cache抖动 · 磁盘IOPS打满 · 索引膨胀
常见性能瓶颈案例Page
27
调优实战一
高吞吐场景下批量写入与压缩的联合调优
调优实战一高吞吐场景下批量…
28
调优实战二
低延迟场景下acks与刷盘策略的精细…
调优实战二acks
29
调优实战三
大消息体场景下Segment与索引参…
调优实战三Segment
30
调优总结与工程化
建立Kafka写入性能调优的Chec…
调优总结工程化