VIP20

本课程属于：001-批处理数据仓库架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库SCD业务场景建模与实现

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

SCD概念与业务场景

什么是缓慢变化维，为什么需要它，常见业务场景（客户地址变更、产品分类调整、员工部门调动）。

SCD类型0：保留原始值

实现方式、适用场景（如：出生日期、注册时间），优缺点分析。

SCD类型1：覆盖

实现方式、适用场景（如：错误修正），优缺点分析，SQL示例（UPDATE）。

SCD类型2：增加新行

实现方式（新增行+生效/失效日期），适用场景（如：客户地址历史），优缺点分析，SQL示例（INSERT + 日期维护）。

SCD类型3：增加新列

实现方式（新增列存储前值），适用场景（如：快速查询当前和上一个值），优缺点分析，SQL示例（ALTER TABLE + UPDATE）。

SCD类型4：使用历史表

实现方式（主表+历史表），适用场景（如：审计需求），优缺点分析，SQL示例（INSERT INTO 历史表）。

SCD类型6：混合类型（1+2+3）

实现方式，适用场景（如：需要当前值、历史值和快速访问），优缺点分析，SQL示例。

SCD代理键设计

什么是代理键，为什么需要它，如何生成（自增、序列、UUID），与自然键的区别。

SCD生效日期与失效日期

设计策略（含开始日期、结束日期、当前标志），如何处理NULL结束日期，SQL示例。

SCD当前标志位设计

使用布尔字段标记当前记录，如何维护，查询优化技巧，SQL示例。

SCD与数据仓库维度建模

在星型模型和雪花模型中的位置，与事实表的关系，设计原则。

SCD与缓慢变化维度属性

哪些属性需要跟踪历史，哪些不需要，属性分类策略。

SCD与数据加载（ETL/ELT）

增量加载 vs 全量加载，如何检测变化（哈希比较、时间戳比较），SQL示例。

SCD与数据质量

如何处理脏数据（重复、空值、异常值），数据清洗策略，SQL示例。

SCD与性能优化

索引设计（代理键、日期、当前标志），分区策略，查询优化技巧。

SCD与大数据平台

在Hive、Spark、Snowflake中的实现差异，分布式环境下的挑战。

大数据分布式

SCD与实时数据流

使用Kafka、Flink实现实时SCD，事件时间 vs 处理时间，状态管理。

SCD与数据湖

在Delta Lake、Apache Iceberg中的实现，时间旅行与版本管理。

数据湖版本

SCD与数据治理

元数据管理，血缘追踪，数据字典，变更影响分析。

治理元数据

SCD与业务规则

如何处理业务规则变更（如：客户等级重新定义），版本化规则。

SCD与多语言支持

如何存储多语言属性（如：产品名称），使用代理键关联语言表。

多语言国际化

SCD与历史数据回溯

如何修正历史数据错误，回滚策略，SQL示例。

SCD与数据仓库自动化

使用工具（dbt、Airflow）自动化SCD处理，代码示例。

SCD与数据建模工具

使用Erwin、PowerDesigner建模SCD，设计文档生成。

SCD与测试策略

单元测试、集成测试、回归测试，如何验证SCD逻辑正确性。

SCD与数据安全

敏感属性脱敏，访问控制，审计日志。

SCD与云数据仓库

在Amazon Redshift、Google BigQuery、Azure Synapse中的实现。

SCD与数据仓库演进

从传统数仓到现代数据栈，SCD角色的变化。

SCD实战案例1：客户维度

客户维度SCD类型2实现（含代码、SQL、ETL流程）。

SCD实战案例2：产品维度

产品维度SCD类型6实现（含代码、SQL、ETL流程）。