VIP20
本课程属于:017-Flink实时计算 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink Exactly-Once 语义落地全解

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
第1章
Flink 基石:为什么需要 Exactly-Once?
从 At-Most-Once、At-Least-Once 到 Exactly-Once 的演进,以及端到端一致性的挑战。
基础一致性
第2章
Checkpoint 核心机制
Barrier 对齐、异步快照、State Backend 的选择(RocksDB vs FsState)。
核心状态
第3章
两阶段提交协议
Flink 如何用 Two-Phase-Commit 实现 Sink 端的 Exactly-Once,以 Kafka Sink 为例。
事务Sink
第4章
端到端 Exactly-Once 实战
Kafka Source + Flink + Kafka Sink 的完整链路配置与验证。
实战链路
第5章
幂等写入与事务写入
MySQL/Upsert 场景下的 Exactly-Once 实现方案对比。
存储对比
第6章
状态一致性
ValueState、ListState、MapState 在故障恢复时的行为。
状态恢复
第7章
Savepoint 与 Checkpoint 的区别
手动触发、版本升级、应用迁移时的 Exactly-Once 保障。
运维迁移
第8章
非对齐 Barrier
Unaligned Checkpoint 的原理与适用场景。
性能调优
第9章
Flink CDC 中的 Exactly-Once
MySQL Binlog 消费的断点续传机制。
CDCBinlog
第10章
大规模集群调优
Checkpoint 超时、反压、State 膨胀的排查与解决。
调优运维
第11章
Flink 1.15+ 新特性
Checkpoint 动态调整、Buffer Debloating 对一致性的影响。
新特性版本
第12章
Kafka 事务性写入
transactional.id 与 Flink 两阶段提交的集成细节。
Kafka事务
第13章
HDFS/S3 Sink 的 Exactly-Once
基于文件提交的 Pending 与 Committed 状态机。
文件状态机
第14章
多 Sink 一致性
同一 Job 内多个 Sink 如何保证原子提交?
原子性多Sink
第15章
异步 I/O 与一致性
AsyncIO 在故障恢复时的数据重放问题。
异步恢复
第16章
事件时间与处理时间
Watermark 对 Exactly-Once 语义的影响。
时间语义Watermark
第17章
State TTL 与一致性
过期状态在恢复时如何处理?
TTL状态
第18章
增量 Checkpoint
RocksDB 增量快照的原理与配置。
增量RocksDB
第19章
Local Recovery
本地状态恢复如何加速故障恢复并保持一致性。
本地恢复性能
第20章
Changelog State Backend
Flink 1.18 的新一代状态管理。
新特性状态管理
第21章
SQL 中的 Exactly-Once
Flink SQL 的 Upsert Kafka、CDC 表的一致性保证。
SQLUpsert
第22章
DataStream API 与 SQL 混合
混合编程模式下的一致性边界。
混合API
第23章
Kubernetes 部署
Pod 重启、持久化卷对 Checkpoint 的影响。
K8s部署
第24章
监控与告警
Checkpoint 失败率、对齐耗时、State 大小的关键指标。
监控指标
第25章
Exactly-Once 的代价
性能开销、延迟增加、资源消耗的权衡。
权衡成本
第26章
常见误区
Checkpoint 成功 = Exactly-Once?Sink 幂等性 ≠ 事务性。
误区澄清
第27章
案例:实时数仓 ETL
DWD -> DWS -> ADS 中的 Exactly-Once 设计。
案例数仓
第28章
案例:金融风控场景
Exactly-Once 与低延迟矛盾调和。
案例金融
第29章
案例:IoT 设备数据采集
乱序与 Exactly-Once 处理。
案例IoT
第30章
总结与展望
流式一致性的未来趋势(Cloud Native、Serverless Flink)。
总结趋势