第4章 数据治理与质量面试
数据治理与质量是数据资产建模的基石。面试中,面试官不仅考察你对 DAMA/DMBOK 框架的认知,更关注你能否将治理理论落地到建模实践中。本章提供结构化回答路径与项目模板,帮你高效斩获 Offer。
3个高频面试问答卡片
Q1:请介绍你理解的数据治理框架,你认为最关键的环节是什么?
| 考察点 | 对 DAMA/DMBOK 等标准框架的掌握程度,以及能否结合数据资产建模场景给出重点判断。 |
| 回答框架 | ① 概述框架:包含数据标准、质量、安全、生命周期、元数据等域;② 点出核心环节:数据质量和元数据管理是建模的基础;③ 举例说明:如建模前需先统一数据标准。 |
| 示例回答 | “我参考 DAMA 框架,认为数据标准和数据质量最关键。在建模前必须定义统一的字段命名和业务含义,否则模型复用性极差。我曾主导制定客户维度标准,使模型输出一致率从65%提至92%。” |
| 可能追问 | “你们如何确保标准被下游系统遵守?” / “质量维度中哪个最难落地?” |
| 避坑提醒 | 避免只背框架不举例,面试官需要看到你实际用过这些概念。不说“我们没做治理”而要说“我推动了一部分改进”。 |
Q2:数据质量通常包括哪六个维度?请结合项目说明如何衡量某个维度。
| 考察点 | 对完整性、一致性、准确性、及时性、唯一性、有效性六维度的掌握,以及量化指标的设定能力。 |
| 回答框架 | ① 列出六个维度并简述定义;② 选一个你最熟悉的维度(如完整性),说明如何定义规则和阈值;③ 举例:订单表的“收货地址”字段完整率需≥99.5%。 |
| 示例回答 | “六维度包括完整性、一致性、准确性、及时性、唯一性、有效性。我重点监控准确性:通过抽样比对源系统与模型层数据,设定阈值99%。曾发现地址字段解析错误,推动清洗脚本修复。” |
| 可能追问 | “如果一致性只有80%,你会怎么排查?” / “及时性如何衡量实时流数据?” |
| 避坑提醒 | 不要只背维度名而无具体指标。每个维度应对应可量化的 SQL 规则或监控方式。避免说“我们测了质量”,要说出“我设定了XX规则”。 |
Q3:主数据管理与数据标准的关系是什么?建模中如何落地主数据?
| 考察点 | 对 MDM 的理解,以及能否将标准与主数据关联设计模型,体现架构思维。 |
| 回答框架 | ① 关系:标准是主数据的“语言”,主数据是标准的载体;② 建模落地:将主数据实体(如客户、产品)抽象为独立维度表,并引用标准编码;③ 举例:客户主数据模型包含统一ID、属性遵循标准字段定义。 |
| 示例回答 | “标准定义主数据字段的命名、类型与枚举值,主数据则是实例数据。建模时我会将客户、产品等主数据建成缓慢变化维度,并定期与 MDM 系统同步,保证下游分析维度一致。” |
| 可能追问 | “如何处理多源主数据冲突?” / “主数据版本管理如何做?” |
| 避坑提醒 | 不要混淆主数据与业务交易数据。强调主数据的“唯一性权威来源”特征。避免只说概念不提建模细节(如 SCD 类型选择)。 |
项目案例模板
项目名称:电商平台客户数据资产治理与质量提升
| 业务背景 | 电商平台合并后客户信息重复率高达23%,导致营销推送错误、GMV预估偏差。需统一客户主数据并构建可靠模型。 |
| 规模指标 | 覆盖1.2亿注册用户,每日增量200万条;影响30+业务报表和推荐模型。 |
| 技术栈 | Spark(ETL)、Airflow(调度)、Atlas(元数据)、Great Expectations(质量监控)、MySQL + Hive(存储)。 |
| 核心难点 | 多源客户ID冲突(手机号、微信OpenID、设备ID),无统一标识;历史脏数据清洗影响下游。 |
| 面试高频追问 | 1. “你们如何设计客户黄金记录匹配规则?” 2. “质量监控如何自动阻断问题数据?” 3. “主数据模型如何支持缓慢变化?” |
| 可迁移回答话术 | “我们采用基于概率匹配的模型(如 Dedupe 算法)生成统一客户ID,并建立质量预警 Pipeline。模型层用 SCD Type 2 保留历史版本,确保分析可回溯。这套方案后来被推广到供应商主数据中。” |
面试加分点: 强调“规则+算法”结合解决冲突,且将治理能力产品化(如自动修复脏数据)。
💡 本章复习要点:
```
- 熟记数据治理核心域(标准、质量、元数据、安全、生命周期)。
- 质量六维度必须能结合 SQL 或监控工具举例(如 Great Expectations 规则)。
- 主数据建模首选 SCD Type 2,并说明与 MDM 系统的同步机制。
- 项目案例中突出“跨域协同”与“业务收益”,避免纯技术描述。