VIP20

本课程属于：007-消息队列任务读写分离蓝图 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

消息队列读写分离性能调优：页缓存与磁盘I O优化策略

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

消息队列基础

消息队列核心概念（生产者 · 消费者 · 主题

消息队列基础消息队列核心概念

读写分离架构

读写分离架构原理 · 主从复制模式 · 读写分离在消息队列中的实现方式

读写分离架构读写分离架构原理

页缓存原理

操作系统页缓存（Page Cache… · 脏页回写策略 · 页缓存对消息队列性能的影响

页缓存原理Page

磁盘I/O模型

传统磁盘I/O与直接内存访问（DMA… · 同步/异步I/O · 阻塞/非阻塞I/O模型对比

顺序写与随机写

磁盘顺序写性能优势 · 消息队列如何利用顺序写提升吞吐量 · 避免随机写导致的性能瓶颈

顺序写随机写

零拷贝技术

零拷贝（Zero-Copy）原理 · mmap与sendfile系统调用 · 零拷贝在消息队列中的应用（如Kafk…

零拷贝技术Zero-Copy

批量处理与缓冲

消息批量发送/消费机制 · 缓冲区大小调优 · 批量提交对磁盘I/O的优化效果

批量处理缓冲

同步刷盘与异步刷盘 · fsync与fdatasync系统调… · 刷盘频率对数据可靠性与性能的权衡

刷盘策略同步刷盘

预写日志（WAL）

WAL机制原理 · WAL在消息队列中的应用 · WAL与页缓存的协同工作

WAL预写日志

内存映射文件

内存映射文件（Memory-Mapp… · mmap在消息队列读写中的应用 · 内存映射与页缓存的交互

内存映射文件Memory-Mapp

分区与分段存储

分区（Partition）与分段（S… · 分段文件管理对I/O性能的影响

分区分段存储

索引文件优化

消息索引结构（稀疏索引 · 哈希索引） · 索引文件与数据文件分离

索引文件优化消息索引结构

压缩与解压缩

消息压缩算法（Snappy · LZ4 · Zstd）

压缩解压缩

网络I/O与磁盘I/O协同

网络线程模型（Reactor · Proactor） · 网络接收与磁盘写入的流水线设计

生产者端优化

生产者批量发送参数调优（batch.… · linger.ms） · 异步发送与回调机制

生产者端优化batch

消费者端优化

消费者拉取模型（Pull vs Pu… · 预取（Prefetch）机制 · 消费者端消息批处理

消费者端优化Pull

操作系统参数调优

文件系统选择（XFS vs ext4… · 磁盘调度算法（NOOP · CFQ）

操作系统参数调优XFS

SSD与HDD对比 · NVMe SSD优势 · RAID配置对I/O性能的影响

硬件选型SSD

监控与诊断工具

iostat · vmstat · perf

监控诊断工具

性能基准测试

使用OpenMessaging Be… · Kafka自带的性能测试工具 · 测试场景设计与指标解读

性能基准测试OpenMessagin…

常见性能瓶颈分析

页缓存抖动 · 磁盘I/O等待过高 · 生产者/消费者吞吐量不匹配

常见性能瓶颈分析页缓存抖动

Kafka读写分离与页缓存优化 · Kafka的零拷贝实现 · Kafka的刷盘策略调优

RocketMQ读写分离与磁盘I/O… · RocketMQ的异步刷盘机制 · RocketMQ的文件预分配策略

Pulsar分层存储与读写分离 · Pulsar的读写分离设计 · Pulsar的缓存与I/O优化

读写分离下的数据一致性

主从同步延迟问题 · 读写分离下的消息顺序性保证 · 最终一致性模型在消息队列中的应用

读写分离下的数据…主从同步延迟问题

高可用与故障恢复

Leader选举与副本同步 · 故障切换时的I/O影响 · 数据重建与页缓存预热

高可用故障恢复

云原生环境下的优化

容器化部署对磁盘I/O的影响 · 云盘（EBS · EFS）性能特性

云原生环境下的优…I/O

持久化内存（PMem）对消息队列的影… · 计算存储分离架构 · RDMA与NVMe-oF在消息队列中…

未来趋势PMem

综合调优实战

从业务场景出发 · 结合页缓存与磁盘I/O优化策略 · 制定完整的调优方案

综合调优实战从业务场景出发

课程总结与最佳实践

核心知识点回顾 · 常见调优误区 · 生产环境最佳实践清单

课程总结最佳实践