第4章 数据质量与数据标准面试题：数据质量评估、标准定义、问题根因与改进方案

面试问题：请描述一次你主导的数据质量评估过程，你用了哪些维度？发现了什么问题？

考察点：质量评估框架的完整性、维度选择依据、评估工具或方法、结果闭环能力。

回答框架：维度定义 → 评估方法 → 关键发现 → 影响量化 → 推动闭环。

示例回答：“我主导了营销域用户画像数据质量评估，采用完整性、准确性、一致性、及时性四维框架，对1300万用户画像表抽样扫描。发现‘行业标签’字段缺失率达42%，且与CRM系统一致性仅68%。我们建立DQC规则并推动上游接口增加校验，一个月后缺失率降至5%。”

可能追问：① 维度选择的依据是什么？② 抽样策略怎么设计？③ 如果评估结果不获业务认可怎么办？

面试问题：数据标准在大型企业中经常“定义了但落地难”，你认为根本原因是什么？如何解决？

考察点：对标准全生命周期管理的理解、冲突化解能力、治理机制设计。

回答框架：原因分析（组织/流程/技术）→ 标准分类 → 落地策略（增量管控+存量治理）→ 长效运营。

示例回答：“根本原因是标准缺少业务Owner和技术Owner的双向绑定。我们拆分业务术语标准（数据字典）和技术标准（格式、长度、枚举值）。落地时采用‘新系统强制准入，老系统分期改造’，并设立标准委员会，每双周评审冲突，6个月内核心字段标准覆盖率从30%提到85%。”

可能追问：① 标准委员会由哪些角色组成？决策机制？② 如何处理跨部门标准冲突？③ 标准版本如何管理？

面试问题：你如何系统分析数据质量问题的根因？请分享一个从表象到根的完整分析案例。

考察点：根因分析思维（如5Why、鱼骨图）、数据血缘追踪能力、问题优先级判断。

回答框架：问题表象 → 数据血缘回溯 → 分类归因（技术/流程/人为）→ 复制验证 → 优先级排序。

示例回答：“订单明细表出现大量重复记录，我用数据血缘回溯发现上游日志采集服务存在断点续传逻辑缺陷，导致同一事件被写入两次。采用5Why追问，定位到代码部署时未考虑幂等改造。最终通过添加去重ID + 幂等写入双修复，重复率从8%降至0.01%。”

可能追问：① 如果数据血缘链路不完整怎么定位？② 怎么区分技术问题与业务操作问题？③ 根因确认后如何避免再犯？

📁 项目名称：某头部电商“商品信息质量治理”专项

业务背景：平台商品SKU数超5000万，但商品标题、属性、图片质量参差不齐，导致搜索推荐效果差、客诉率攀升。

规模指标：日均数据量约2亿条，涉及300+数据源、40+业务系统，治理前核心字段完整率仅62%，准确率55%。

技术栈：Hadoop / Spark / Flink / Apache Atlas（数据血缘） / Great Expectations（质量监控） / 自研DQ引擎。

核心难点：1) 多业务部门标准不统一，历史数据量大且脏；2) 实时数据流与离线批处理质量规则需一致；3) 治理ROI难以量化影响业务侧配合意愿。

面试高频追问：① 怎么设计优先级排序的？——按搜索点击率损失金额排序，高Loss品类优先治理。
② 实时与离线规则怎么对齐？——基于统一规则模板库，Flink CEP与离线Spark任务共用规则配置中心。
③ ROI怎么度量？——治理后搜索转化率提升1.2%，客诉下降35%，算金额后投入产出比1:8。

可迁移回答话术：“我认为数据治理必须与业务价值绑定。在这个项目中，我主导将质量指标拆解成‘搜索曝光-点击-转化’漏斗中每一层的丢失率，让业务方看到实际损失，从而推动他们加入标准委员会。技术层面则通过统一规则编排+灰度上线策略，实现日级质量报告自动推送。”