VIP20

本课程属于：020-实时指标平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

维度建模与实时数仓融合系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数仓前世今生

从传统数据库到数据仓库的演进，为什么需要维度建模？

演进建模起源

维度建模核心概念

事实表、维度表、星型模型、雪花模型、星座模型详解。

星型雪花星座

维度建模四步法

选择业务过程、声明粒度、确认维度、确认事实。

方法论粒度

缓慢变化维度(SCD)

SCD类型1、2、3的原理与实现策略。

事实表类型

事务事实表、周期快照事实表、累积快照事实表。

维度建模高级技巧

退化维度、杂项维度、桥接表、多值维度。

实时数仓架构演进

Lambda架构、Kappa架构、流批一体架构对比。

实时数仓技术选型

Kafka、Flink、ClickHouse、Doris、Hudi选型指南。

实时数据采集

CDC技术（Debezium、Canal）、日志采集（Filebeat、Flume）。

Kafka核心原理

分区机制、副本机制、消息可靠性保证、Exactly-Once语义。

分区Exactly-Once

Flink基础概念

DataStream API、时间语义、Watermark、状态后端。

Watermark状态

Flink维度建模实战

实时ETL、维表关联（Async IO、广播状态）。

维表关联广播

实时数仓分层设计

ODS、DWD、DWS、ADS在实时场景下的落地。

实时维度建模

实时事实表构建、实时维度表更新策略。

实时建模更新

实时数仓数据一致性

幂等性设计、去重机制、迟到数据处理。

幂等去重迟到

实时数仓存储选型

消息队列（Kafka）、OLAP引擎（ClickHouse）、数据湖（Hudi/Iceberg）。

存储数据湖

ClickHouse实时写入

MergeTree引擎、物化视图、实时聚合查询。

MergeTree物化视图

Apache Hudi实时入湖

Copy-on-Write与Merge-on-Read、增量查询、时间旅行。

Hudi时间旅行

实时数仓与数据湖融合

Lakehouse架构、实时湖仓一体实践。

Lakehouse湖仓一体

实时数仓监控与运维

Flink作业监控、Kafka Lag监控、数据质量监控。

实时数仓案例1：电商实时大屏

GMV、UV、PV实时统计。

实时数仓案例2：实时用户画像

实时标签计算、实时人群圈选。

实时数仓案例3：实时风控

实时规则引擎、实时特征计算。

风控规则引擎

实时数仓案例4：实时数据同步

MySQL实时同步到ClickHouse/Doris。

维度建模与实时数仓融合

实时维度建模方法论、实时星型模型设计。

实时数仓数据治理

元数据管理、血缘追踪、数据质量规则。

实时数仓性能优化

Flink调优、Kafka调优、ClickHouse查询优化。

实时数仓成本控制

资源弹性伸缩、数据生命周期管理、压缩策略。

成本生命周期

实时数仓未来趋势

流式数仓、实时湖仓、AI for Data。

综合实战：从0到1搭建实时数仓

需求分析、架构设计、代码实现、上线运维。

实战全流程