数据质量评估指标体系：指标设计、度量方法、SLA制定与监控
面试中数据质量指标体系是高频考点，考察候选人从业务目标到可量化监控的端到端设计能力。核心思路：先定义维度 → 再量化指标 → 设定SLA基线 → 最后构建监控闭环。以下结构化内容帮你快速掌握面试得分点。
知识结构：数据质量指标维度速览
| 维度 | 典型指标 | 度量方法 | SLA 参考值 |
|---|---|---|---|
| 完整性 | 字段缺失率 | 缺失数/总记录数 | ≤5% |
| 准确性 | 逻辑校验通过率 | 规则命中记录/总记录 | ≥99% |
| 一致性 | 跨系统字段比对差异 | 比对主键值/差值计数 | 差异率≤1% |
| 时效性 | 数据产出延迟 | 计划时间-实际完成时间 | T+1 08:00前 |
| 唯一性 | 主键重复率 | 重复主键数/总主键数 | 0% |
面试问题：如何设计一套数据质量指标体系？请结合业务场景说明。
考察点：架构思维、业务理解、指标可量化性。
回答框架：1. 从业务目标反推关键质量维度（如核心KPI依赖字段）；2. 按完整性、准确性、时效性、一致性、唯一性五类拆解；3. 每类定义1-2个核心度量指标及计算口径；4. 设定基线阈值（可接受范围）；5. 设计监控及告警规则。
示例回答：“以订单数据为例，首先确认业务对订单金额、状态、时间字段的强依赖。完整性用订单金额缺失率≤0.1%，准确性用订单金额=商品单价×数量逻辑校验通过率≥99.5%，时效性要求每日凌晨2点前完成T+1产出。配套监控告警，如缺失率超阈值触发P1告警。”
可能追问：指标口径不一致如何统一？如何与数据治理团队协同？告警阈值如何动态调整？
面试问题：数据质量SLA如何制定？如何避免SLA被频繁打破或形同虚设？
考察点：SLA设计能力、风险预判、运营方法论。
回答框架：1. 按数据重要度分级（核心/D1/D2）；2. 每级定义具体可衡量的SLA指标（产出时间、准确率）；3. 设置缓冲和熔断机制（如延迟15分钟内不告警）；4. 定期复盘打破原因，迭代阈值；5. 推动上下游签订数据服务协议，明确责任。
示例回答：“核心日报SLA为T+1 08:00前产出，准确率≥99.5%。一级告警阈值设为T+1 08:15未产出触发P0，同时保留15分钟缓冲避免误报。每月发现打破SLA的根因60%是上游数据源延迟，我们会推动源端改造或增加补偿数据。”
可能追问：如何让业务方认可SLA？SLA与SLO/SLI的区别？多个任务共享SLA如何设计？
面试问题：实时数据流的质量监控与离线数据有何不同？请举例说明。
考察点：实时技术理解、监控难点识别、降噪处理。
回答框架：1. 离线侧重事后全量校验（如字段缺失率、历史比对）；实时侧重在线检测（如延迟、格式异常）。2. 实时监控需考虑数据乱序、背压、采样成本，常用滑动窗口+基准线（如当前5分钟缺失率与过去24小时对比）。3. 告警需增加降噪逻辑（抖动过滤、抑制周期）避免风暴。
示例回答：“实时订单流监控：指标重点为数据延迟（秒级）和关键字段合法性（如金额非负）。采用1分钟窗口计算缺失率，若连续3分钟超过3%且偏离基线均值2σ则告警。同时引入抖动过滤器，单次突发不触发，避免频繁打扰。”
可能追问：如何处理延迟数据（迟到数据）对准确性的影响？实时监控如何做A/B测试？
项目案例：电商核心数据仓库质量治理
项目名称：电商核心数据仓库（ODS/DWD/DWS）质量体系搭建
业务背景：公司日均订单量500万+，数据流向20+子业务线。频繁出现报表数据对不上、T+1延迟，业务投诉率月增15%。
规模指标：覆盖2000+离线任务、100+实时流、50个核心数据域、SLA覆盖率达到95%。
技术栈：Kafka + Flink + Hive + Spark + Airflow + Grafana + 自研质量平台。
核心难点：1. 多数据源口径不一，同一字段不同系统定义不同；2. 离线与实时监控割裂，告警重复率高；3. SLA基线无分层，小任务和大报表同等待遇导致资源浪费。
面试高频追问：
- 如何推动业务方统一口径？——答：建立数据字典+映射表，先对齐核心指标，非核心字段允许映射关系。
- 监控告警太多如何降噪？——答：引入4级告警（P0-P3），P0连续3次触发才通知值班，P3日汇总。增加抖动窗口和静默期。
- 资源有限先做哪些质量指标？——答：优先覆盖核心营收相关字段（订单金额、支付金额）和时效性指标。