01
实时数仓概述
从离线到实时的演进 · Lambda与Kappa架构对比 · 状态一致性的重要性
架构演进
02
流处理基石
Apache Kafka核心概念 · 分区与偏移量机制 · Exactly-Once语义基础
Kafka语义
03
状态存储原理
Flink State Backend详解 · HashMap vs RocksDB · 状态TTL与序列化
RocksDB序列化
04
检查点机制
Checkpoint与Savepoint区别 · Barrier对齐 · Chandy-Lamport实现
容错Barrier
05
端到端一致性
Source端Offset提交 · Sink两阶段提交 · FlinkKafkaProducer Exactly-Once
2PCKafka
06
分布式快照
异步快照流程 · 增量Checkpoint · RocksDB增量快照优化
快照增量
07
状态后端调优
RocksDB性能调优 · 状态访问模式优化 · 大状态GC问题
调优GC
08
故障恢复
Task Failover策略 · Region Failover · 从Savepoint恢复注意事项
Failover恢复
09
水位线与乱序处理
Watermark生成 · Idle Source · Allowed Lateness与Side Output
Watermark乱序
10
时间语义
Event Time vs Processing Time · Ingestion Time · Timestamp分配
时间语义
11
窗口机制
Tumbling/Sliding/Session窗口 · 窗口状态一致性 · Trigger与Evictor
窗口Trigger
12
状态一致性模型
At-Most-Once · At-Least-Once · Exactly-Once权衡与选择
语义权衡
13
幂等写入
Sink端幂等性设计 · 去重机制 · Redis/HBase幂等实现
幂等去重
14
事务写入
两阶段提交协议详解 · TwoPhaseCommitSinkFunction · 事务超时与回滚
事务2PC
15
状态分区与Keyed State
Keyed State vs Operator State · ValueState/ListState/MapState
KeyedOperator
16
广播状态
Broadcast State模式 · 动态配置更新 · 维表关联广播实现
广播维表
17
状态一致性监控
Checkpoint失败监控 · State Size监控 · Backpressure与状态积压
监控Backpressure
18
多流Join
Window Join · Interval Join · Temporal Join状态管理
JoinInterval
19
维表关联
Async IO与维表关联 · LRU缓存策略 · 维表变更对状态一致性的影响
AsyncLRU
20
状态迁移
状态Schema演进 · 状态重分布(Rescale) · Savepoint迁移兼容性
迁移Schema
21
数据倾斜与状态
KeyBy倾斜导致的状态热点 · LocalKeyBy与MiniBatch · Salting技术
倾斜Salting
22
状态清理
State TTL配置 · 过期清理策略 · RocksDB Compaction Filter
TTL清理
23
多集群容灾
异地双活/主备架构 · Checkpoint跨集群同步 · 状态一致性挑战
容灾双活
24
版本升级
Flink版本升级状态兼容性 · Savepoint格式变更 · RocksDB版本兼容
升级兼容
25
状态大小控制
State Pruning · State Partitioning · 外部存储(Redis/AP)减轻压力
压缩外部存储
26
生产环境案例
电商实时数仓Checkpoint超时排查 · 状态膨胀OOM解决过程
案例OOM
27
测试与验证
状态一致性测试方法 · Chaos Engineering · Checkpoint模拟测试
测试Chaos
28
未来趋势
Unbounded State Processing · Serverless Flink状态管理 · AI驱动调优
趋势Serverless
29
综合实战
端到端Exactly-Once实时ETL管道：Kafka → Flink → HBase
实战ETL
30
课程总结
状态一致性最佳实践清单 · 常见误区汇总 · 推荐学习资源
总结清单