VIP20
本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

流批一体从离线到实时状态复用进阶

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
离线架构的基石
传统ETL流程、数据仓库分层（ODS/DWD/DWS/ADS）、离线调度痛点。
ETL分层调度
02
实时计算的萌芽
消息队列选型（Kafka vs Pulsar）、流处理概念、Lambda架构初探。
消息队列流处理Lambda
03
Lambda架构实战
批流分离的代价、数据口径不一致、存储冗余问题。
批流分离口径冗余
04
Kappa架构登场
统一流处理、Kafka作为存储核心、去批化改造案例。
KappaKafka去批化
05
从Kafka到Flink
Flink核心抽象（DataStream/Table/SQL）、状态后端、Checkpoint机制。
Flink状态后端Checkpoint
06
实时数仓分层
DWD实时明细、DIM维度关联、DWS实时汇总、ADS实时应用。
实时数仓DWDDWS
07
离线模型复用（上）
Hive表到Kafka Topic的映射、Schema兼容性、Avro/Protobuf选型。
HiveSchemaAvro
08
离线模型复用（下）
UDF迁移、存储过程改写、SQL方言适配。
UDF存储过程SQL方言
09
双跑验证策略
离线与实时结果对比、延迟容忍度、数据质量监控。
双跑质量监控延迟
10
实时ETL链路
CDC采集（Debezium/Canal）、Changelog Stream、Exactly-Once语义。
CDCDebeziumExactly-Once
11
状态复用
Flink State与HBase的互转、状态快照恢复、大规模状态调优。
StateHBase调优
12
维表关联进化
LRU缓存、异步IO、热更新、维表版本管理。
LRU异步IO维表
13
窗口复用
离线窗口逻辑迁移、Event Time vs Processing Time、Watermark策略。
窗口Event TimeWatermark
14
实时指标复用
从离线SQL到Flink SQL、UDAF迁移、累计窗口设计。
Flink SQLUDAF累计窗口
15
数据湖与流批一体
Iceberg/ Hudi / Delta Lake、CDC入湖、流式写入。
数据湖IcebergHudi
16
Flink SQL 进阶
动态表、连续查询、Retract与Upsert模式。
动态表RetractUpsert
17
实时数据服务化
Flink写入Redis/ES/ClickHouse、维表预加载、服务降级。
RedisClickHouse服务降级
18
离线任务迁移实录
日调度任务改实时、数据回溯、性能对比。
迁移回溯性能
19
实时监控体系
Flink Metrics、Prometheus+Grafana、告警规则设计。
MetricsPrometheus告警
20
数据血缘复用
Atlas/DataHub、离线血缘到实时血缘的映射、字段级追踪。
血缘Atlas字段级
21
元数据统一管理
离线元数据与实时元数据打通、Schema Registry实践。
元数据Schema Registry
22
测试与灰度
实时任务沙箱、流量复制、A/B测试框架。
沙箱流量复制A/B
23
资源复用
Yarn/K8s混部、离线与实时资源池共享、弹性伸缩。
混部K8s弹性伸缩
24
成本优化
状态大小控制、序列化优化、数据倾斜治理。
状态大小序列化倾斜
25
实时数据湖仓
Paimon/ Hudi 的流式读写、Merge-on-Read、Compaction策略。
PaimonMerge-on-ReadCompaction
26
多流关联
Interval Join、Regular Join、Temporal Join实战。
Interval JoinTemporal Join
27
复杂事件处理（CEP）
Flink CEP模式匹配、超时检测、业务告警场景。
CEP模式匹配告警
28
实时机器学习
特征工程在线化、模型服务、实时预测Pipeline。
特征工程模型服务预测
29
全链路一致性
端到端Exactly-Once、幂等写入、事务性输出。
Exactly-Once幂等事务
30
架构演进总结
从离线到实时的复用模式、组织架构适配、未来趋势（流式数仓/实时湖仓）。
复用模式组织适配趋势