VIP20
本课程属于：034-Kafka性能调优 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka磁盘IO瓶颈排查与优化

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
IO基础概念
磁盘IO与文件IO的区别、IO栈全景图、IO延迟的构成。
全景延迟
02
性能指标
IOPS、吞吐量、延迟、IO大小、队列深度。
度量队列
03
排查工具
iostat、iotop、pidstat、blktrace、fio。
工具监控
04
常见瓶颈
磁盘利用率100%、IO等待过高、单盘性能瓶颈、文件系统锁竞争。
瓶颈锁
05
优化策略
调整IO调度器、优化文件系统挂载参数、使用裸设备、异步IO、缓存策略。
调度缓存
06
RAID与存储
RAID级别选择、条带大小对IO的影响、硬件RAID vs 软件RAID。
RAID条带
07
SSD优化
TRIM命令、NVMe vs SATA、磨损均衡、Over-provisioning。
SSDNVMe
08
内核参数
vm.dirty_ratio、vm.dirty_background_ratio、块设备请求队列优化。
内核脏页
09
应用层优化
连接池、批量写入、预读机制、mmap vs read/write。
应用mmap
10
数据库IO
MySQL InnoDB刷脏策略、WAL日志、PostgreSQL checkpoint优化。
数据库WAL
11
文件系统选型
ext4 vs xfs vs btrfs vs zfs，元数据性能对比。
文件系统元数据
12
IO调度器
deadline、cfq、noop、mq-deadline、kyber。
调度器mq
13
Cgroup IO控制
blkio子系统、权重限制、IOPS限制。
CgroupIOPS
14
网络存储
NFS、iSCSI、Ceph、分布式存储IO路径。
网络Ceph
15
监控与告警
Prometheus + node_exporter、Grafana面板、自定义告警规则。
监控Grafana
16
压力测试
fio脚本编写、混合读写场景、随机 vs 顺序。
fio基准
17
内核追踪
perf、ftrace、eBPF、bcc工具集。
eBPF追踪
18
IO隔离
cpuset、numa绑定、中断亲和性。
隔离NUMA
19
日志系统优化
rsyslog异步模式、日志轮转、避免同步写。
日志异步
20
虚拟化IO
virtio-blk vs virtio-scsi、磁盘缓存模式、QEMU IO线程。
虚拟化virtio
21
容器IO
overlayfs性能、数据卷挂载、docker存储驱动选择。
容器overlay
22
内存与IO
page cache、dirty page回写、swap对IO的影响。
内存回写
23
IO路径分析
从应用到磁盘的完整路径、各层延迟分布。
路径延迟
24
常见案例
MySQL磁盘满导致只读、Kafka日志落盘延迟、ES段合并IO抖动。
案例实战
25
硬件选型
SATA vs SAS vs NVMe、HDD vs SSD vs Optane。
硬件NVMe
26
IO模型
同步阻塞、非阻塞、IO多路复用、AIO、io_uring。
模型io_uring
27
文件锁
flock、fcntl、锁竞争排查、建议锁 vs 强制锁。
锁竞争
28
大页与IO
HugePages对数据库IO的影响、透明大页问题。
大页数据库
29
IO审计
auditd、inotify、fanotify、文件访问监控。
审计监控
30
综合实战
从零排查一个MySQL慢查询IO问题，输出完整报告。
实战报告