VIP20
本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时数仓数据一致性与容错保障

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
实时数仓数据一致性概述
为什么一致性是实时数仓的生命线？从Lambda架构到Kappa架构的演进中，一致性问题如何被放大？
架构演进核心概念
第2章
端到端一致性模型
At-Least-Once、At-Most-Once、Exactly-Once 的定义与适用场景，以及它们在实际业务中的取舍。
语义模型业务权衡
第3章
分布式事务基石
两阶段提交（2PC）与三阶段提交（3PC）的原理，为什么它们在实时场景下不够用？
分布式事务2PC/3PC
第4章
Kafka 的 Exactly-Once 语义
事务性生产者、幂等生产者、事务协调器的工作原理，以及如何配置才能保证不丢不重。
Kafka幂等事务
第5章
Flink 的 Checkpoint 机制
Barrier 对齐、异步快照、状态后端，以及 Checkpoint 失败后的恢复策略。
FlinkCheckpoint容错
第6章
Flink 端到端 Exactly-Once
如何将 Kafka Source/Sink 与 Flink Checkpoint 结合，实现完整的端到端一致性。
端到端FlinkKafka
第7章
幂等性设计
什么是幂等？在实时写入 HBase、Redis、MySQL 时，如何通过唯一键或版本号实现幂等。
幂等HBaseMySQL
第8章
去重机制
基于布隆过滤器、HyperLogLog、状态去重三种方案的对比，以及我在电商大促场景下的实战经验。
去重布隆过滤器实战
第9章
Watermark 与乱序处理
Watermark 的生成策略、Allowed Lateness、Side Output 处理迟到数据，如何平衡延迟与准确性。
Watermark乱序延迟
第10章
双流 Join 的一致性
Regular Join、Interval Join、Window Join 的语义差异，以及如何保证 Join 结果不丢失。
双流JoinFlink语义
第11章
维表关联的实时一致性
异步 IO、缓存策略、LRU 淘汰，以及维表变更时如何保证关联结果的正确性。
维表异步IO缓存
第12章
CDC 数据同步的一致性
Debezium + Kafka Connect 的 Snapshot 与增量同步，如何保证全量+增量无缝衔接。
CDCDebeziumKafka Connect
第13章
实时数仓分层一致性
ODS、DWD、DWS、ADS 各层之间如何通过回溯与补偿机制保证数据一致。
分层架构回溯补偿
第14章
数据回溯与补偿
当发现历史数据错误时，如何设计回溯流程？回溯期间如何保证下游不产生脏数据。
回溯补偿脏数据
第15章
实时指标的一致性
PV/UV、GMV、DAU 等核心指标在实时计算中常见的偏差原因，以及校准方案。
实时指标校准偏差
第16章
多流合并的时序一致性
Union、Connect、CoGroup 操作中，如何保证来自不同流的数据按正确顺序合并。
多流合并时序Flink
第17章
状态管理与一致性
Flink 状态后端（RocksDB、HashMap）的选择对一致性的影响，以及大状态下的调优经验。
状态后端RocksDB调优
第18章
事务性输出
Flink 的 TwoPhaseCommitSinkFunction 原理，以及如何自定义实现写入 Kafka、JDBC 的两阶段提交。
事务TwoPhaseCommitJDBC
第19章
实时数仓的监控与告警
数据延迟监控、数据量波动监控、Checkpoint 失败告警，以及我搭建的实时数据质量看板。
监控告警质量看板
第20章
数据质量校验
实时数据与离线 T+1 数据的对账方案，以及基于样本抽样的实时质量检测。
质量校验对账抽样
第21章
容灾与高可用
Active-Active 部署、异地多活、Region 故障切换时如何保证数据不丢且最终一致。
容灾高可用异地多活
第22章
Kafka 数据丢失场景分析
Leader 选举、ISR 缩水、日志删除策略导致的数据丢失，以及对应的防护措施。
Kafka数据丢失防护
第23章
Flink 作业重启策略
固定延迟重启、失败率重启、无重启三种策略的适用场景，以及重启后状态的正确恢复。
重启策略Flink状态恢复
第24章
实时数仓的 Schema 演进
Avro、Protobuf、JSON Schema 的兼容性处理，以及字段变更时如何保证上下游数据不解析失败。
Schema演进Avro兼容性
第25章
数据倾斜与一致性
KeyBy 倾斜导致的状态膨胀、Checkpoint 超时，以及如何通过自定义分区器缓解。
数据倾斜分区器Checkpoint
第26章
实时数仓的测试策略
单元测试、集成测试、端到端测试，以及如何模拟故障场景验证一致性保障能力。
测试故障模拟验证
第27章
案例实战：电商实时大屏
从订单数据采集到 GMV 大屏展示，完整链路的一致性保障方案拆解。
电商大屏实战
第28章
案例实战：金融风控实时计算
交易反欺诈场景下，如何保证毫秒级延迟下的数据一致。
金融风控反欺诈低延迟
第29章
案例实战：物联网实时监控
海量设备数据上报，乱序与重复严重，如何设计去重与乱序处理方案。
物联网去重乱序
第30章
实时数仓一致性未来趋势
流式湖仓（Lakehouse）、数据网格（Data Mesh）对一致性提出的新挑战与解决方案。
未来趋势LakehouseData Mesh