VIP13

本课程属于：015-数据仓库、建模与Analytics Engineering 后端、数据与云原生工程 · 共 13 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库分层设计实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据仓库概述

什么是数据仓库，与数据库的区别，核心特征（面向主题、集成、非易失、时变），典型应用场景解析。

数据仓库分层设计总览

分层目的：解耦、复用、清晰血缘；ODS/DWD/DWS/ADS架构；分层设计原则与经验。

ODS层（操作数据存储层）

ODS定位与作用，全量/增量同步策略，SQOOP/DataX/Canal接入方式，表设计规范。

DWD层（明细数据层）

明细层定位，数据清洗与标准化，维度退化，事务/周期快照/累积快照事实表设计。

明细事实表

DWS层（汇总数据层）

汇总层定位，轻度汇总与宽表设计，公共指标沉淀，DWS与DWD的协作关系。

ADS层（应用数据层）

应用层定位，面向报表的数据组织，大宽表与数据集市，数据导出策略与实战。

维度建模基础

星型、雪花、星座模型对比与选型，实际项目中的建模经验与决策思路。

缓慢变化维（SCD）

SCD类型1覆盖、类型2拉链表、类型3有限历史，拉链表设计与实现细节。

数据仓库命名规范

表命名（分层前缀、业务域、主题域），字段命名，ETL脚本命名，统一词根表。

ETL设计与开发

抽取、转换、加载流程，调度策略，脚本开发规范，性能优化方法。

数据质量监控

六维度质量评估（完整性、准确性、一致性、及时性、唯一性、规范性），监控规则与告警机制。

数据血缘与元数据管理

血缘概念与价值，元数据采集，血缘解析技术，Atlas/DataHub工具实践。

血缘元数据

数据仓库建模工具

PowerDesigner、ERwin、SQLFlow、dbt对比选型，常用建模工具经验分享。

Hive数据仓库实践

内部表/外部表，分区表与分桶表，Hive SQL优化，Hive与HDFS关系。

Spark在数仓中的应用

Spark SQL与Hive对比，ETL开发实践，性能调优，与数据湖结合。

实时数仓架构

Lambda/Kappa架构，实时分层设计，Flink CDC实时同步实践。

数据湖与数据仓库的融合

Delta Lake、Iceberg、Hudi概念，湖仓一体架构，踩坑经验总结。

数据湖湖仓一体

数仓权限与安全

数据脱敏，行级/列级权限，Kerberos认证，审计与合规实践。

数仓性能优化

SQL优化（谓词下推、MapJoin、数据倾斜），存储优化（列式、压缩），Yarn资源管理。

数仓容量规划

数据量预估模型，存储扩容策略，计算资源评估，冷热数据分离方案。

数仓版本管理

表结构版本管理，ETL脚本版本管理，数据回滚策略，Git在数仓中的应用。

数仓测试策略

单元测试、集成测试、回归测试、数据对账测试，测试环境搭建方法。

数仓运维与监控

任务调度监控（Azkaban/DolphinScheduler），数据延迟监控，失败自动恢复。

数仓文档管理

数据字典维护，设计文档规范，变更记录管理，知识库建设经验。

文档知识库

数仓项目实战（电商场景）

需求分析、分层设计、ETL开发、报表展示，全流程复盘与关键点。

数仓项目实战（金融场景）

风控数仓设计，监管报送数据模型，数据安全合规实践。

数仓项目实战（物联网场景）

时序数据建模，设备维度设计，实时流处理架构与落地。

物联网时序

数仓发展趋势

云原生数仓（Snowflake/Redshift），Data Mesh数据网格，AI辅助建模。

趋势云原生

数仓面试指南

常见面试题解析，系统设计思路，项目经验包装，谈薪策略。

课程总结与展望

核心知识点回顾，学习路径建议，推荐书籍与社区，持续成长建议。