VIP20

本课程属于：027-数据仓库建模 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库分层架构与模型复用

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据仓库概述

什么是数据仓库、与数据库的区别、核心价值、典型应用场景。

数据仓库架构演进

从传统数仓到云原生、Lambda、Kappa、Data Mesh与Data Fabric。

分层架构设计原则

分层目的、高内聚低耦合、数据单向流动、命名规范与元数据管理。

ODS层设计与实现

操作数据存储、同步策略、增量与全量抽取、数据质量初检。

DWD层设计与实现

明细数据层、维度建模、事实表与维度表、星型/雪花模型、缓慢变化维。

DWS层设计与实现

汇总数据层、宽表设计、轻度与重度汇总、预聚合、OLAP Cube。

ADS层设计与实现

应用数据层、报表专用表、大宽表、数据服务接口、性能优化。

DIM层设计与实现

维度表统一管理、公共维度、拉链表、SCD策略实战。

模型复用核心概念

什么是模型复用、复用层次（表级/SQL级/函数级）、收益与挑战。

公共数据模型（CDM）

CDM定义、与分层关系、设计方法论、治理策略。

数据域与主题域划分

业务域、数据域、主题域概念、划分原则、电商/金融案例。

数据域主题域

总线矩阵设计

总线矩阵概念、行列含义、构建步骤、在模型复用中的作用。

一致性维度

一致性维度定义、价值、维度合并与拆分、跨主题域共享。

一致性维度

一致性事实

一致性事实定义、度量一致性、单位与口径统一、跨层复用。

一致性事实

SQL代码复用

SQL模板化、参数化查询、UDF/函数复用、CTE与视图技巧。

ETL任务复用

ETL模块化、组件化开发、调度依赖复用、数据质量规则复用。

元数据驱动复用

元数据概念、采集、血缘分析、基于元数据的自动复用。

元数据驱动

数据湖与数据仓库融合

湖仓一体、Delta Lake/Iceberg/Hudi、湖上分层、复用新挑战。

实时数仓分层

实时ODS/DWD/DWS/ADS、实时维度表、实时模型复用。

数据治理与模型复用

数据标准、质量、安全、生命周期、治理保障复用。

数据模型版本管理

模型版本概念、版本控制策略、向后兼容、灰度发布与回滚。

数据模型血缘分析

血缘价值、手动/自动血缘、可视化、基于血缘的复用影响分析。

数据模型复用度评估

复用度指标（引用次数、下游依赖）、评估方法、持续优化。

数据模型文档化

文档自动生成、数据字典、模型说明、业务术语表、文档即代码。

文档自动化

数据模型评审机制

评审流程、标准、角色、工具、持续改进。

数据仓库性能优化

分层性能问题、物化视图、分区与分桶、查询与存储优化。

数据仓库安全与权限

分层权限模型、行/列级安全、数据脱敏、审计日志。

数据仓库运维与监控

任务监控、延迟监控、质量监控、告警机制、运维自动化。

数据仓库项目实战（电商）

需求分析、分层设计、模型复用策略、ETL开发、上线迭代。

数据仓库项目实战（金融）

金融数仓特点、监管合规、模型复用实践、性能与安全平衡。