VIP20
本课程属于：028-数据平台调度系统 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Airflow任务重试与幂等性保障

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
幂等性基础
什么是幂等性、为什么重试需要幂等、幂等性的数学定义与工程定义。
核心概念数学定义
02
重试机制概述
重试的动机、重试带来的副作用、幂等性如何解决重试问题。
重试动机副作用
03
唯一键方案
全局唯一ID生成策略（UUID、雪花算法、数据库自增）、唯一键去重表设计。
UUID雪花算法去重表
04
状态机幂等
业务状态机流转、状态校验与幂等判断、状态机与重试的结合。
状态机状态校验
05
机制
预生成、校验流程、的过期与清理。
校验过期清理
06
乐观锁与版本号
数据库乐观锁原理、版本号字段设计、CAS操作与重试。
乐观锁版本号CAS
07
去重表方案
去重表结构设计、插入冲突处理、去重表与业务表的关联。
去重表冲突处理
08
分布式锁与幂等
Redis分布式锁、ZooKeeper锁、锁的粒度与性能权衡。
Redis锁ZK锁粒度
09
消息队列幂等
Kafka/RocketMQ的Exactly-Once语义、消息去重、幂等消费者设计。
KafkaRocketMQExactly-Once
10
HTTP幂等性
GET/POST/PUT/DELETE的幂等语义、幂等键（Idempotency-Key）头。
HTTP方法幂等键
11
数据库幂等操作
INSERT ON DUPLICATE KEY UPDATE、REPLACE INTO、MERGE INTO。
MySQLUPSERTMERGE
12
缓存与幂等
Redis SETNX实现幂等、缓存穿透与幂等的关系、缓存一致性。
SETNX缓存穿透一致性
13
幂等性与事务
本地事务与幂等、分布式事务与幂等（TCC、Saga）、最终一致性。
TCCSaga最终一致性
14
重试策略设计
固定间隔重试、指数退避、抖动（Jitter）、最大重试次数。
退避Jitter策略
15
重试与幂等的结合
重试上下文传递、幂等令牌在重试中的传递、重试链路追踪。
上下文令牌传递链路追踪
16
幂等性测试
单元测试幂等逻辑、集成测试重试场景、压力测试下的幂等验证。
单元测试集成测试压力测试
17
幂等性监控
幂等失败率监控、重复请求检测、告警与自愈。
监控告警自愈
18
幂等性在支付场景的应用
支付回调重试、订单幂等、金额防重复扣减。
支付回调订单幂等防重复扣
19
幂等性在库存场景的应用
库存扣减幂等、超卖防止、库存回滚。
库存超卖回滚
20
幂等性在RPC框架中的应用
Dubbo/gRPC重试与幂等、自定义幂等拦截器。
DubbogRPC拦截器
21
幂等性在API网关中的应用
网关层幂等校验、请求去重、幂等键透传。
网关去重透传
22
幂等性与并发控制
乐观锁与悲观锁的选择、并发下的幂等判断、ABA问题。
乐观锁悲观锁ABA
23
幂等性数据清理
去重表数据归档、过期清理、历史幂等记录管理。
归档清理生命周期
24
幂等性设计模式
幂等接收器模式、幂等处理器模式、幂等工厂模式。
设计模式接收器工厂
25
幂等性在微服务中的挑战
服务间重试风暴、级联幂等、全局幂等ID传递。
微服务重试风暴级联
26
幂等性与CQRS
命令查询职责分离、命令幂等性、事件溯源与幂等。
CQRS事件溯源命令
27
幂等性在定时任务中的应用
任务重复执行防止、任务幂等锁、任务状态机。
定时任务幂等锁状态机
28
幂等性在文件处理中的应用
文件上传幂等、文件处理状态记录、断点续传幂等。
文件上传断点续传状态记录
29
幂等性最佳实践
幂等性设计检查清单、常见反模式、团队规范。
检查清单反模式规范
30
幂等性总结与展望
幂等性在云原生时代的演进、Serverless幂等、未来趋势。
云原生Serverless趋势