VIP20
本课程属于：027-数据仓库建模 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据仓库需求分析与模型设计交付

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据仓库概述
什么是数据仓库、与数据库的区别、核心特征：面向主题、集成、非易失、随时间变化。
基础核心概念
02
需求调研方法论
业务调研步骤、访谈技巧、识别关键KPI、需求文档编写规范。
方法论需求
03
数据源分析与评估
内部数据源(CRM/ERP/日志)、外部数据源(API/爬虫)、数据质量评估(完整性/一致性/准确性)。
数据源质量
04
数据建模基础理论
ER模型、维度建模(星型/雪花)、Data Vault、Anchor模型概念与适用场景。
理论模型
05
维度建模核心概念
事实表(可加/半可加/不可加)、维度表(退化维度/SCD)、粒度(Grain)定义。
维度事实
06
缓慢变化维度(SCD)实战
Type1覆盖、Type2拉链表、Type3增加列、混合策略与选型建议。
SCD实战
07
事实表设计
事务事实表、周期快照、累积快照、无事实事实表、设计原则与案例。
事实表设计
08
数据仓库分层架构
ODS、DWD、DWS、ADS各层职责与设计，典型分层案例。
分层架构
09
数据仓库建模工具
PowerDesigner、ERwin、PDManer、SQLDBM使用简介与建模规范。
工具规范
10
数据标准与规范
命名规范(表名/字段/缩写)、数据类型规范、编码规范(枚举/状态码)。
标准规范
11
数据血缘与元数据管理
数据血缘定义、元数据采集、Atlas/DataHub工具、影响分析。
血缘元数据
12
数据质量监控体系
六维度(完整性/唯一性/及时性/一致性/准确性/规范性)、监控规则与告警。
质量监控
13
ETL设计与开发
ETL vs ELT、抽取策略(全量/增量/CDC)、清洗转换、调度框架(Airflow/DolphinScheduler)。
ETL调度
14
数据仓库性能优化
分区表、分桶策略、索引优化、物化视图、SQL调优与数据倾斜处理。
性能优化
15
数据安全与权限管理
数据脱敏、行/列级权限、审计日志、GDPR/等保合规要求。
安全权限
16
实时数据仓库
Lambda/Kappa架构、实时技术栈(Flink/Kafka/ClickHouse)、实时维度建模。
实时架构
17
数据湖与数据仓库融合
Lakehouse架构、Delta Lake/Iceberg/Hudi、湖仓一体最佳实践。
湖仓一体Lakehouse
18
项目实战(一)：需求调研
从业务方收集需求、梳理业务流程、确定核心指标。
实战需求
19
项目实战(二)：概念模型
绘制ER图、确定主题域、定义总线矩阵。
概念模型ER
20
项目实战(三)：逻辑模型
设计事实表与维度表、确定粒度、定义SCD策略。
逻辑模型粒度
21
项目实战(四)：物理模型
选择存储引擎、设计分区键、确定数据压缩算法。
物理模型存储
22
项目实战(五)：ETL开发与测试
编写ETL脚本、单元测试、集成测试、数据比对。
ETL测试
23
项目实战(六)：上线与运维
版本管理、灰度发布、监控告警配置、故障恢复。
运维上线
24
建模案例：电商
电商业务分析、订单事实表、用户/商品/时间维度表设计。
电商案例
25
建模案例：金融
金融风控场景、交易事实表、客户/账户维度表、SCD应用。
金融风控
26
建模案例：教育
在线教育业务、学习行为事实表、课程/学生/教师维度表。
教育在线
27
建模案例：物流
物流轨迹事实表、运单/网点维度表、时效分析模型。
物流轨迹
28
未来趋势
AI辅助建模、自动化建模、Data Mesh/Fabric、云原生数仓(Snowflake/Redshift)。
趋势云原生
29
面试指南
常见面试题解析、建模场景题、系统设计题、简历包装技巧。
面试求职
30
课程总结与知识体系
全课程知识图谱、建模心法、推荐书单与学习路径、结业项目建议。
总结知识体系