VIP20

本课程属于：027-数据仓库建模 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库全链路分层架构设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据仓库概述

什么是数据仓库、OLTP与OLAP的区别、数据仓库的核心特征（面向主题、集成、非易失、时变）、数据仓库与数据湖、数据中台的关系。

数据仓库架构演进

传统数仓架构（Ingres/Informatica）、Lambda架构、Kappa架构、云原生数仓（Snowflake/Redshift）、湖仓一体（Lakehouse）概念。

数据仓库建模方法论

ER建模、维度建模（Kimball）、范式建模（Inmon）、Data Vault建模、Anchor建模，以及各自的适用场景。

方法论建模

维度建模核心概念

事实表（可加、半可加、不可加事实）、维度表（退化维度、缓慢变化维度SCD）、度量与粒度、星型模型与雪花模型。

数据源接入与数据采集

结构化数据源（MySQL/Oracle）、半结构化数据源（JSON/XML/日志）、非结构化数据源（图片/文档）、CDC技术（Canal/Debezium）、全量同步与增量同步策略。

数据集成与ETL

ETL与ELT的区别、数据清洗（去重、空值处理、异常值处理）、数据转换（字段映射、类型转换、数据脱敏）、数据加载策略（全量覆盖、增量追加、拉链表）。

数据分层设计

ODS（操作数据存储层）、DWD（明细数据层）、DWS（汇总数据层）、ADS（应用数据层）、DIM（维度层），以及各层的职责与设计原则。

数据源映射、数据同步策略、数据质量监控、数据回溯机制、ODS层表结构设计（增量表、全量表、拉链表）。

事实表设计（事务事实表、周期快照事实表、累积快照事实表）、维度退化、缓慢变化维处理（SCD Type 1/2/3）、代理键生成策略。

轻度汇总与重度汇总、宽表设计（大宽表与星型宽表）、公共指标沉淀、数据预聚合策略（Cube、物化视图）。

应用数据层设计原则、报表数据模型、大屏数据模型、接口数据模型、数据服务化（API Gateway）。

维度表设计原则、维度的层次结构（层级维度与扁平维度）、维度的SCD策略实现、维度的生命周期管理。

数据建模工具与规范

PowerDesigner/ERwin/PDMan建模工具使用、命名规范（表名、字段名、分区名）、数据类型规范、注释规范。

数据质量保障

数据质量六维度（完整性、准确性、一致性、及时性、唯一性、有效性）、数据质量监控规则配置、数据质量报告与告警。

元数据管理

技术元数据（表结构、字段、分区、ETL依赖）、业务元数据（指标定义、维度定义、业务规则）、元数据采集与血缘分析。

元数据管理

数据血缘分析

数据血缘的概念与价值、血缘解析技术（SQL解析、日志解析）、血缘可视化展示、影响分析与故障定位。

数据安全与权限管理

数据分级分类、数据脱敏策略（静态脱敏、动态脱敏）、行级权限与列级权限控制、审计日志。

数据仓库性能优化

分区策略（时间分区、范围分区、哈希分区）、分桶策略、索引优化（Bitmap索引、BloomFilter）、查询优化（谓词下推、Join优化）。

数据仓库存储优化

列式存储（Parquet/ORC）、压缩算法（Snappy/Zstd/Gzip）、数据生命周期管理（冷热数据分层）、存储成本优化。

实时数仓建设

实时数仓架构（Kafka + Flink + ClickHouse）、实时ETL设计、实时维度表与事实表、实时数据一致性保障（Exactly-Once语义）。

数据湖与湖仓一体

数据湖概念（Hudi/Iceberg/Delta Lake）、ACID事务支持、Time Travel、Schema Evolution、湖仓一体架构实践。

数据湖湖仓

数据仓库上云实践

云原生数仓选型（AWS Redshift、Google BigQuery、阿里云MaxCompute、华为云GaussDB）、存算分离架构、弹性扩缩容。

上云云原生

数据仓库建模案例一（电商）

电商业务数据源分析、订单事实表设计、商品维度表设计、用户维度表设计、电商数仓分层实现。

数据仓库建模案例二（金融）

金融业务数据源分析、交易事实表设计、客户维度表设计、账户维度表设计、金融数仓风控场景应用。

数据仓库建模案例三（教育）

在线教育业务数据源分析、学习行为事实表设计、课程维度表设计、学生维度表设计、教育数仓学情分析应用。

数据仓库建模案例四（物流）

物流业务数据源分析、运单事实表设计、网点维度表设计、车辆维度表设计、物流数仓时效分析应用。

数据仓库建模案例五（医疗）

医疗业务数据源分析、就诊事实表设计、药品维度表设计、医生维度表设计、医疗数仓质量分析应用。

数据仓库建模案例六（游戏）

游戏业务数据源分析、充值事实表设计、玩家维度表设计、道具维度表设计、游戏数仓用户留存分析应用。

数据仓库建模案例七（社交）

社交业务数据源分析、互动事实表设计、用户维度表设计、内容维度表设计、社交数仓推荐场景应用。

数据仓库建模案例八（物联网）

物联网业务数据源分析、设备上报事实表设计、设备维度表设计、地点维度表设计、物联网数仓实时监控应用。

案例物联网