VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

分布式消息Exactly-Once语义与一致性落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Exactly Once 语义概述

什么是 Exactly Once、为什么需要 Exactly Once、At Most Once vs At Least Once vs Exactly Once 对比。

核心概念语义对比

消息传递的三种语义

At Most Once（最多一次）、At Least Once（至少一次）、Exactly Once（恰好一次）的详细定义与场景。

消息语义场景分析

幂等性原理

幂等性的数学定义、幂等性在分布式系统中的应用、幂等性设计的核心原则。

幂等设计原则

分布式事务基础

ACID 理论、CAP 理论、BASE 理论、分布式事务的挑战。

分布式事务理论

两阶段提交（2PC）

2PC 协议详解、协调者与参与者角色、2PC 的优缺点与阻塞问题。

2PC一致性协议

三阶段提交（3PC）

3PC 协议详解、与 2PC 的区别、3PC 的优缺点。

3PC协议对比

Try-Confirm-Cancel 模式详解、TCC 在 Exactly Once 中的应用、TCC 的补偿机制。

TCC补偿事务

本地消息表

本地消息表的设计原理、如何保证消息不丢失、本地消息表的实现示例。

消息表可靠性

事务消息（RocketMQ）

RocketMQ 事务消息原理、半消息机制、事务回查机制。

RocketMQ事务消息

Kafka Exactly Once 语义

Kafka 幂等生产者、事务性消息、Kafka Exactly Once 的实现原理。

KafkaExactly Once

Kafka 幂等生产者

enable.idempotence 配置、Producer ID 与序列号机制、幂等生产的限制。

幂等生产者Kafka

Kafka 事务性消息

事务协调器、事务日志、事务提交与回滚、Kafka 事务 API 使用。

事务消息Kafka API

Pulsar Exactly Once 语义

Apache Pulsar 的消息去重机制、Pulsar 事务支持。

去重机制设计

全局唯一 ID 生成策略（UUID、雪花算法、数据库自增）、去重表设计。

状态存储与去重

基于 Redis 的去重、基于数据库的去重、基于本地内存的去重。

状态存储去重方案

流处理中的 Exactly Once

Flink 的 Checkpoint 机制、Flink Exactly Once 实现原理。

FlinkCheckpoint

Flink 端到端 Exactly Once

Flink Kafka Connector 的 Exactly Once、两阶段提交 Sink。

Spark Structured Streaming 的 Exactly Once

Spark Streaming 的容错机制、端到端一致性。

数据库层面的 Exactly Once

唯一约束与主键冲突处理、INSERT ON DUPLICATE KEY UPDATE。

数据库唯一约束

幂等接口设计

RESTful API 幂等性设计、幂等键（Idempotency Key）机制。

API设计幂等键

重试机制与幂等性

重试策略（指数退避、固定间隔）、重试与幂等的结合。

分布式锁与 Exactly Once

基于 Redis 的分布式锁、基于 ZooKeeper 的分布式锁、锁的粒度控制。

分布式锁Redis

消息队列的 Exactly Once 对比

Kafka vs RocketMQ vs Pulsar vs RabbitMQ 的 Exactly Once 能力对比。

消息队列对比

Exactly Once 的性能代价

性能开销分析、如何权衡一致性与性能。

监控与排查

如何监控 Exactly Once 是否生效、常见问题排查思路。

实战案例一：订单系统

订单系统的 Exactly Once 设计，防止重复下单、重复支付。

实战案例二：金融交易系统

金融交易系统的 Exactly Once 设计，涵盖转账、对账场景。

实战案例三：日志采集系统

日志采集系统的 Exactly Once 设计，确保日志不丢不重。

Exactly Once 的常见误区

过度设计、误解语义、忽略边界条件等常见误区剖析。

总结与最佳实践

Exactly Once 落地的核心要点、架构选型建议、未来趋势。

总结最佳实践