离线数仓架构设计与选型
本章聚焦面试中最常被追问的数仓分层架构、Lambda vs Kappa 选型逻辑以及技术栈决策依据。掌握这三块，能系统展示你对离线数仓从顶层设计到落地实现的全局把控力。
| 分层 | 核心功能 | 数据粒度 | 常见技术 | 面试高频关键词 |
|---|---|---|---|---|
| ODS | 增量/全量接入，保持原始数据 | 事务级 | Kafka / DataX / Sqoop | 数据源解耦、分区策略 |
| DWD | 数据清洗、维度退化、构建事实 | 明细级 | Spark / Hive / Flink | SCD、拉链表、去重 |
| DWS | 公共维度轻度聚合、指标复用 | 汇总级 | ClickHouse / Hive / Presto | 数据一致性、原子指标 |
| ADS | 业务主题宽表、应用加速 | 维度宽表 | Doris / Kudu / MySQL | 查询优化、预聚合策略 |
面试问答演练
① 请详细介绍一下离线数仓的典型分层架构，并说明每一层的核心职责。
回答框架：
- 先给出四层名称（ODS / DWD / DWS / ADS），说明数据流向。
- 逐层解释：ODS 接入原始数据，DWD 做清洗与维度退化，DWS 做统一轻度聚合，ADS 面向业务应用。
- 补充关键设计：分区策略、ETL 周期、数据一致性保障。
示例回答：“我们采用四层分层：ODS 保留全量增量日志，按天分区；DWD 进行数据类型转换、空值处理，并退化常用维度；DWS 按商品/用户粒度预聚合核心指标；ADS 支撑业务报表与多维分析。核心收益是解耦 ETL 逻辑，提升数据复用性。”
可能追问：ODS 层如何处理慢变化维度？DWD 与 DWS 之间指标口径不一致怎么办？重跑历史数据如何不影响下游？
💡 避坑提醒：切忌只背分层名称，要结合具体场景说明每层的数据量级、存储策略、计算引擎选型，这是区分初级与高级的关键。
② Lambda 架构和 Kappa 架构的核心区别是什么？在你的项目中如何选型？
回答框架：
- 定义两者：Lambda = 批通道+流通道，两套代码；Kappa = 统一流通道，消息回溯模拟批。
- 对比维度：运维成本（Lambda高）、数据一致性、回溯能力、实时延迟。
- 选型依据：若要求秒级且回溯复杂 → Kappa；若批流逻辑差别大、团队熟悉批处理 → Lambda。
示例回答：“在广告归因场景中，我们选用了 Kappa 架构。基于 Kafka 全量事件流，Flink 计算后写入 Olap 引擎，通过设置合适 offset 实现历史重跑。维护成本比 Lambda 降低 40%，且端到端延迟控制在 10 秒内。”
可能追问：Kappa 架构如何保证 Exactly-Once？数据回滚怎么做？状态后端如何选择？如果流处理瓶颈，如何扩容？
💡 避坑提醒：不要直接说“Kappa 更好”，要诚实地指出 Lambda成熟稳定、Kappa 对基础设施要求高。结合团队技术栈给出选择理由更显专业。
③ 在进行数仓技术选型时，你会从哪些维度进行考量？请举例说明。
回答框架：
- 核心维度：数据规模 (TB/日)、实时性要求、查询模式 (OLAP/即席)、团队技术栈。
- 存储选型：HDFS (冷数据) vs 对象存储 (弹性) vs Kudu (更新)。
- 计算引擎：Spark (批) vs Flink (流) vs Presto (交互)。
- 元数据管理：Atlas vs DataHub，数据血缘追踪能力。
示例回答：“以 50TB/日、10分钟周期的场景为例：存储选 HDFS + 冷热分层，计算引擎采用 Spark 做 ETL、Presto 服务 Ad-hoc 查询，元数据使用 Atlas 打标。评估后放弃 HBase 因为查询模式以批量分析为主。”
可能追问：Spark vs Flink 如何选？ClickHouse 与 Druid 的区别？如果数据量再涨 10 倍，架构怎么调整？
💡 避坑提醒：别只罗列技术名词，要结合具体业务场景、成本预算、运维难度做取舍。比如“选 Spark 因为团队 Java 经验丰富”比“Spark 性能更好”更有说服力。
项目案例参考模板
以下是可用于面试中快速组织“离线数仓架构设计”项目故事的结构，建议根据自身经历填充。
| 项目要素 | 内容示例 |
|---|---|
| 项目名称 | 电商全链路离线数仓重建（第四代架构） |
| 业务背景 | 原有Lambda架构难以维护，数据延迟超30分钟，频繁修改导致口径不一 |
| 规模指标 | 日增50TB，300+离线任务，覆盖20+业务线 |
| 技术栈 | HDFS + Spark + Flink (实时辅助) + ClickHouse + Atlas |
| 核心难点 | 维度模型统一、历史重跑影响下游、跨层级数据一致性校验 |
| 面试高频追问 | ODS到DWD的ETL策略？DWS指标爆炸如何管理？数据质量监控方案？ |
| 可迁移回答话术 | “我们通过建设公共维度层 + 原子指标池 + 自动化血缘解析，将上线周期从2周缩短到3天，数据延迟降至5分钟以内。” |
面试加分贴士： 在回答架构选型时，主动提及数据血缘、元数据中心、任务优先级调度等工程化细节，会让面试官觉得你不只是停留在理论层面，而是具备落地驾驭能力。