VIP20

本课程属于：048-数据交换与API治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据交换中的订阅分发策略

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

订阅分发模式概述

什么是发布-订阅模式，核心概念（主题、生产者、消费者、代理），与点对点模式的区别。

模式核心概念

消息代理（Broker）核心原理

Broker的角色与职责、消息路由机制、消息存储与转发、高可用设计。

Broker路由高可用

主题（Topic）与通道（Channel）设计

Topic的命名规范、通配符与层级匹配、分区（Partition）设计、通道的缓冲策略。

Topic分区缓冲

消费者组（Consumer Group）与负载均衡

消费者组的概念、分区分配策略（Range、RoundRobin、Sticky）、再均衡（Rebalance）机制。

消费者组负载均衡Rebalance

消息过滤与路由策略

基于标签（Tag）的过滤、基于属性的过滤、基于内容的过滤、路由规则引擎设计。

过滤路由规则引擎

消息可靠性保证

ACK机制、重试策略、死信队列（DLQ）、消息幂等性处理。

可靠性ACKDLQ

消息顺序性保证

全局顺序与局部顺序、分区内顺序保证、顺序消息的实现方案。

顺序分区实现

消息持久化与存储

日志结构存储（如Kafka的Segment）、刷盘策略、存储格式（Avro、Protobuf）、存储清理策略。

持久化SegmentAvro

流量控制与背压（Backpressure）

生产者限流、消费者限流、基于令牌桶的流控、背压信号的传递。

流控背压令牌桶

消息轨迹与链路追踪

消息生命周期追踪、OpenTracing集成、日志埋点方案、分布式追踪在消息场景的应用。

追踪OpenTracing埋点

大规模Topic扩展实践

Topic数量对性能的影响、元数据管理、分区数规划、动态扩容策略。

扩展元数据扩容

跨数据中心复制（异地多活）

主备模式、双活模式、基于MirrorMaker的跨集群复制、数据一致性挑战。

跨DCMirrorMaker一致性

消息压缩与批量处理

压缩算法选择（Gzip、Snappy、LZ4、Zstd）、批量发送与批量消费、批处理参数调优。

压缩批量调优

认证（SASL/SSL）、授权（ACL）、加密传输、消息加密与解密。

监控与告警

关键指标（吞吐量、延迟、积压量）、Prometheus + Grafana集成、自定义告警规则。

监控Prometheus告警

Kafka订阅分发实战

Kafka核心概念回顾、生产者API、消费者API、Spring Kafka集成。

RocketMQ订阅分发实战

RocketMQ核心概念、消息类型（普通、顺序、事务）、消费者模式。

RocketMQ事务消费者

RabbitMQ订阅分发实战

RabbitMQ的Exchange与Binding、Topic Exchange实战、死信队列配置。

RabbitMQExchangeDLQ

Pulsar订阅分发实战

Pulsar的订阅模式（Exclusive、Shared、Failover、Key_Shared）、分层存储。

Pulsar订阅模式分层存储

MQTT协议与物联网场景

MQTT的发布-订阅模型、QoS级别、保留消息、遗嘱消息。

WebSocket与实时推送

基于WebSocket的订阅分发、与消息队列的集成、实时数据推送架构。

WebSocket实时推送

Redis Pub/Sub与Stream

Redis Pub/Sub的局限性、Redis Stream的消费者组、消息持久化。

RedisStream持久化

NATS与轻量级消息系统

NATS的核心模式（Core NATS、JetStream）、高吞吐低延迟场景。

NATSJetStream低延迟

事件驱动架构（EDA）设计

事件的定义与分类、事件溯源（Event Sourcing）、CQRS模式、事件总线设计。

EDAEvent SourcingCQRS

微服务中的订阅分发

服务间异步通信、事件驱动微服务、Saga模式与消息补偿。

微服务Saga异步

数据集成与CDC（Change Data Capture）

基于Debezium的CDC、Kafka Connect、实时数据同步。

CDCDebeziumKafka Connect

订阅分发策略的性能调优

操作系统参数调优、JVM调优、网络参数调优、客户端参数调优。

调优JVM网络

故障排查与问题诊断

消息丢失排查、消息重复排查、积压问题处理、性能瓶颈定位。

故障排查积压

订阅分发系统的容量规划

流量预估、分区数计算、集群规模估算、压测方法论。

容量规划压测

未来趋势与选型指南

云原生消息队列（如Pulsar）、Serverless消息服务、选型对比矩阵（Kafka vs RocketMQ vs Pulsar vs RabbitMQ）。

趋势选型对比