第4章 数据仓库与ETL流程面试

• 是否理解分层解耦、数据重用、成本管控等核心原则
• 能否清晰说出 ODS / DWD / DWS / ADS 每层的职责
• 对命名规范、数据流向、模型设计（星型/雪花）的掌握

1. 原则：分层解耦、高内聚低耦合、数据复用、避免重复建设
2. 架构：ODS（源数据暂存）→ DWD（明细清洗）→ DWS（公共汇总）→ ADS（应用集市）
3. 补充：各层命名规范（表名前缀）、ETL入仓方式（全量/增量）

“分层原则包括解耦业务与底层存储、数据逐层重用、提升查询性能。常见四层架构：ODS保持源数据原貌，DWD做清洗去重与维表转换，DWS按维度轻度汇总，ADS面向报表与指标。每层表名前缀区分，例如ods_、dwd_、dws_、ads_。”

• DWD层通常做哪些转换？如何处理缓慢变化维？
• 如果ODS数据量极大，如何优化DWD层入仓速度？

避免只背概念，要结合实际案例说明如何规避数据爆炸或分层冗余。 面试官期待看到你设计分层时的权衡思考。

• 是否了解调度依赖、重试机制、数据质量监控
• 能否说明数据一致性校验（对账、边界值、异常告警）
• 对调度系统（如 Airflow、DolphinScheduler）的使用经验

1. 调度层面：DAG 管理任务依赖，设置超时与重试次数
2. 一致性保障：幂等写入、主键去重、分批提交+最终一致性检查
3. 时效性：合理设置窗口时间、错峰调度、资源预留

“调度采用 Airflow DAG，依赖上游完成才触达下游。数据一致性依靠写入时去重（ROW_NUMBER+DISTRIBUTE BY），再对账条数与关键指标。时效性通过划分小时/天级窗口，并设置 SLA 告警，超时自动升重优先级。”

• 数据重复读取导致性能下降，如何解决？
• 如果下游依赖未就绪，如何处理数据回溯？

不要只说“用调度工具”，要讲清楚调度策略如何保证 exactly-once 语义。重试机制也需说明是否会带来数据重复问题。

• 是否掌握分区、分桶、文件格式、并行度等常见优化手段
• 能否区分 OLAP 与 OLTP 场景下的不同优化思路
• 对数据倾斜处理的经验

1. 存储层：列式存储（Parquet/ORC）、合理分区（时间/地域）、压缩（Snappy/Zstd）
2. 计算层：调整并行度、解决数据倾斜（加盐、两阶段聚合）
3. 调度层：增量数据优先、减少全量扫描、物化视图

“优化分为三方面：存储采用 Parquet + Zstd 压缩，按日期分区减少扫描；计算上使用 Spark 动态资源分配，遇到倾斜时加随机前缀做两阶段聚合；调度层面只拉取增量数据，避免每日全量重跑。”

• 数据倾斜有哪些典型场景？如何处理 join 倾斜？
• 压缩比与解压速度如何权衡？

避免罗列技术名词而不说适用场景。面试官会追问“你实际遇到过哪种倾斜？怎么解决的？”务必准备一个真实案例。