VIP20
本课程属于：007-消息队列任务读写分离蓝图 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

消息队列读写分离架构：数据传输优化与批量处理技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
消息队列基础概念
什么是消息队列 · 核心术语（Producer/Cons… · 消息队列的作用（解耦/异步/削峰）
消息队列基础概念什么是消息队列
02
主流消息队列对比
RabbitMQ · Kafka · RocketMQ
主流消息队列对比RabbitMQ
03
读写分离架构总览
读写分离的定义 · 为什么MQ需要读写分离 · 主从架构与读写分离的区别
读写分离架构总览读写分离的定义
04
生产者写入优化
批量发送原理 · 异步发送机制 · 确认机制（ACK）对写入性能的影响
生产者写入优化批量发送原理
05
消费者读取优化
推模式（Push）与拉模式（Pull… · 长轮询机制 · 消费位点管理
消费者读取优化Push
06
批量处理核心策略
批量生产 · 批量消费 · 批量提交Offset
批量处理核心策略批量生产
07
数据分区与分片
Partition的作用 · 分区策略（轮询/哈希/自定义） · 分区与并行度的关系
数据分区分片
08
顺序消息与乱序处理
全局顺序与局部顺序的实现 · 批量处理中如何保证顺序 · 乱序场景的补偿方案
顺序消息乱序处理
09
消息去重与幂等性
幂等性设计原则 · 去重表/布隆过滤器/版本号机制在批量…
消息去重幂等性
10
事务消息机制
半消息与事务回查 · 批量事务的挑战 · RocketMQ事务消息实现
事务消息机制半消息
11
延迟消息与定时消息
延迟队列的实现方式 · 批量延迟消息的处理 · 时间轮算法
延迟消息定时消息
12
死信队列与重试机制
死信队列的用途 · 批量重试策略 · 退避算法与指数退避
死信队列重试机制
13
消息轨迹与链路追踪
OpenTracing集成 · 批量消息的TraceID传递 · SkyWalking/Pinpoin…
消息轨迹链路追踪
14
流量控制与背压机制
令牌桶/漏桶算法 · 消费者背压反馈 · 批量消费速率控制
流量控制背压机制
15
批量压缩与序列化优化
Gzip/Snappy/Zstd压缩… · Protobuf/Thrift/Av… · 批量压缩的CPU开销
批量压缩序列化优化
16
网络传输优化
TCP参数调优（Nagle/Keep… · 零拷贝技术（mmap/Sendfil… · 批量传输的MTU策略
网络传输优化TCP
17
内存管理与GC优化
DirectBuffer与HeapB… · 批量消息的内存池设计 · 避免Full GC
GC内存管理
18
磁盘I/O与刷盘策略
顺序写与随机写 · 刷盘模式（同步/异步） · 批量刷盘的性能收益
I/O磁盘
19
高可用与故障转移
Leader选举 · ISR机制 · 批量复制与同步延迟
高可用故障转移
20
读写分离下的数据一致性
最终一致性模型 · 主从同步延迟的补偿 · 读请求路由策略
读写分离下的数据…最终一致性模型
21
监控与告警体系
关键指标（TPS/延迟/积压量） · Prometheus+Grafana… · 批量积压告警阈值设置
监控告警体系
22
性能压测方法论
压测工具（JMeter/OpenMe… · 批量场景的压测模型 · 结果分析
性能压测方法论JMeter/OpenM…
23
Kafka读写分离实战
Kafka MirrorMaker · Confluent Replicat… · 集群间批量同步
Kafka读写分离实战
24
RocketMQ读写分离实战
DLedger主从切换 · 多副本写入 · 批量消费的负载均衡
RocketMQ读写分离实战
25
Pulsar读写分离实战
BookKeeper与Broker分… · Segment读写优化 · 批量订阅模式
Pulsar读写分离实战
26
RabbitMQ读写分离实战
镜像队列与Quorum队列 · 批量ACK · Shovel插件跨集群同步
RabbitMQ读写分离实战
27
云原生环境下的MQ读写分离
Kubernetes部署 · Operator自动化运维 · 弹性伸缩与批量处理
MQ云原生环境下的
28
大数据场景的批量优化
与Flink/Spark集成 · 批量Source/Sink · Checkpoint与Exactly…
大数据场景的批量…Flink/Spark
29
微服务场景的批量处理
事件驱动架构 · 批量事件聚合 · CQRS与读写分离的结合
微服务场景的批量…事件驱动架构
30
未来趋势与总结
Serverless MQ · 边缘计算MQ · AI驱动的批量调度优化
未来趋势Serverless