VIP20

本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

日志数据流批一体数据一致性保障

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

Lambda 与 Kappa 架构对比 · 流批一体核心价值 · 数据一致性挑战

数据一致性基础

ACID / BASE 理论 · CAP 在流批中的权衡 · 最终一致性与强一致性

Exactly-Once 语义

消息投递语义 · 幂等性设计 · 事务性写入

Flink 状态一致性

Checkpoint 机制 · Savepoint 原理 · 端到端 Exactly-Once

Kafka 事务与幂等

幂等生产者 · 事务 API · 事务协调器与隔离级别

Hudi / Iceberg / Delta Lake 对比

三大湖仓事务支持 · ACID 特性 · 时间旅行与回滚

两阶段提交 (2PC)

2PC 协议详解 · 协调者与参与者 · 分布式实现与缺陷

分布式协议

分布式事务方案

TCC · Saga · 本地消息表 · 事务消息 (RocketMQ)

CDC 与数据同步

Debezium 原理 · Canal 架构 · 实时增量同步一致性

双写一致性

缓存与数据库双写 · 先删缓存还是先更新 DB · 延迟双删

流表对账系统

实时对账架构 · 离线对账补充 · 差异发现与自动修复

数据湖 ACID 事务

Iceberg Snapshot 隔离 · Hudi MVCC · Delta Lake 并发控制

Flink 与 Hudi 集成

Streaming Write to Hudi · Bucket 索引 · Compaction & Clean

Kafka Connect & Sink 一致性

Sink Exactly-Once · 重试与死信队列

状态后端与容错

RocksDB 状态后端 · 增量 Checkpoint · 大状态恢复

Watermark 与乱序处理

Event/Processing Time · Watermark 策略 · 乱序影响

Watermark乱序

维表 Join 一致性

实时维表关联 · 维表变更捕获 · Lookup Cache 权衡

多流 Join 一致性

双流 Join 语义 · Interval Join · Regular Join 保证

数据回溯与修复

回溯 Kafka 历史 · Hudi 时间旅行 · 数据订正脚本

监控与告警

Flink Metrics · Kafka Lag · 数据质量 (Great Expectations)

灰度发布与回滚

流作业灰度策略 · 版本兼容 · 快速回滚方案

Schema Registry

Avro/Protobuf 管理 · 兼容性检查 · Schema 演化影响

数据湖 Compaction

小文件合并 · Compaction 与查询一致性 · 异步挑战

Compaction小文件

流批一体 ETL

Batch/Stream 共用代码 · Table API/SQL 统一 · 动态表

实时数仓分层

ODS/DWD/DWS/ADS 一致性要求 · 分层对质量影响

数据血缘与溯源

Atlas/DataHub 集成 · 血缘辅助排查 · 一致性审计

注入故障 (延迟/崩溃) · 验证一致性 · 自动化演练

并行度 · 算子链 · 网络缓冲 · 状态大小控制

大厂实时数仓事故复盘 · 根因分析 · 改进措施

流批一体 2.0 · 云原生流计算 · AI 辅助一致性

趋势云原生