VIP20
本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时与离线数仓协同架构设计

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数仓架构演进
从传统数仓到Lambda架构，再到Kappa架构的演变历程与核心痛点。
架构LambdaKappa
02
离线数仓基石
Hive与Spark SQL的深度对比，ETL流程设计与分区策略。
HiveSpark SQLETL
03
实时数仓基石
Flink与Kafka的整合原理，Exactly-Once语义的实现机制。
FlinkKafkaExactly-Once
04
协同策略总览
Lambda架构的实时与离线分层设计，数据一致性保证方案。
Lambda分层一致性
05
数据采集层协同
Canal与Debezium的选型，Binlog实时采集与离线全量同步的衔接。
CanalDebeziumBinlog
06
数据存储层协同
HDFS与对象存储的混合使用，实时表与离线表的生命周期管理。
HDFS对象存储生命周期
07
计算引擎协同
Flink实时ETL与Spark离线ETL的任务调度与资源隔离。
FlinkSpark资源隔离
08
数据一致性保障
实时与离线数据对账机制，基于偏移量的数据修复策略。
对账偏移量修复
09
实时数仓分层
DWD、DWS、ADS层的实时建模与离线建模的映射关系。
DWDDWSADS
10
离线数仓分层
ODS、DWD、DWS、ADS层的建模规范与实时层的对齐策略。
ODSDWD对齐
11
维度表协同
缓慢变化维(SCD)在实时与离线中的处理差异，Type 2的实现方案。
SCDType2维度
12
事实表协同
实时流式事实表与离线批量事实表的合并策略，双流Join的挑战。
事实表双流Join合并
13
数据回溯机制
基于离线数据修复实时数仓的历史数据，回溯窗口与性能平衡。
回溯修复窗口
14
实时指标与离线指标
分钟级实时指标与T+1离线指标的聚合逻辑与口径对齐。
实时指标T+1口径
15
数据质量监控
实时数据延迟监控、离线数据完整性校验，告警与自愈机制。
延迟完整性自愈
16
元数据管理协同
实时与离线元数据的统一管理，血缘关系的打通。
元数据血缘统一
17
数据湖方案
Apache Iceberg与Hudi在实时离线协同中的应用，ACID事务支持。
IcebergHudiACID
18
流批一体实践
Flink SQL与Spark SQL的语法统一，流表与批表的转换。
流批一体Flink SQLSpark SQL
19
数据服务层协同
实时API与离线API的融合，统一查询网关的设计。
API查询网关融合
20
资源调度协同
Yarn与Kubernetes的混合调度，实时任务与离线任务的优先级管理。
YarnK8s优先级
21
数据安全协同
实时与离线数据脱敏策略的统一，访问控制的粒度差异。
脱敏访问控制安全
22
数据治理协同
实时与离线数据资产的统一编目，生命周期与冷热数据管理。
编目冷热生命周期
23
测试与验证
实时与离线数据的对比测试框架，回归测试与性能压测。
对比测试回归压测
24
监控与运维
实时任务延迟监控、离线任务失败重试，全链路追踪方案。
监控重试链路追踪
25
灾备与恢复
实时数仓的容灾策略，基于离线数据的快速恢复方案。
容灾恢复备份
26
成本优化
实时与离线计算资源的弹性伸缩，存储压缩与冷热分离。
弹性压缩冷热分离
27
案例实战一：电商
电商实时大屏与离线报表的协同，双11流量洪峰下的架构设计。
电商大屏双11
28
案例实战二：金融风控
金融风控实时规则引擎与离线模型训练的协同，数据闭环。
金融风控模型
29
案例实战三：物联网
物联网设备实时监控与离线分析，时序数据的流批协同。
IoT时序流批
30
未来趋势
云原生数仓、Serverless化、AI驱动的智能协同策略。
云原生ServerlessAI
专注课程资料整理