数据质量度量：如何定义指标、计算得分、设定阈值

数据质量度量这件事，说白了就是给数据「打分」。我在很多项目里都见过这样的场景：大家嘴上说数据很重要，但真要问「怎么算好数据？」就没人能说清楚了。嗯，这章我们就来把这个事彻底讲透。

一、数据质量指标怎么定义？

我个人习惯把数据质量指标分成六个维度。这六个维度基本覆盖了日常工作中 90% 的场景：

维度	定义	典型指标
完整性	数据有没有缺失	字段非空率、记录完整率
准确性	数据是否真实反映业务	字段值正确率、业务规则通过率
一致性	不同系统间数据是否矛盾	跨系统匹配率、格式统一率
及时性	数据是否在预期时间内到达	延迟时长、T+1 到账率
唯一性	数据有没有重复	主键唯一率、重复记录占比
有效性	数据是否符合格式规范	邮箱格式正确率、手机号校验通过率

二、数据质量得分怎么算？

定义好指标之后，下一步就是算分。这里我分享一套我自己用了很多年的方法，叫「加权扣分法」。

2.1 单指标得分

每个指标先单独算分。公式很简单：

单指标得分 = (1 - 异常记录数 / 总记录数) × 100

举个例子：

• 订单表共 10,000 条记录
• 其中手机号缺失的有 200 条
• 完整性得分 = (1 - 200 / 10000) × 100 = 98 分

2.2 综合得分

单指标算完了，怎么合成一个总分？加权平均：

综合得分 = Σ(单指标得分 × 权重) / Σ(权重)

权重怎么定？我一般按业务影响程度来分：

维度	权重	理由
完整性	30%	缺失数据直接影响业务决策
准确性	30%	错误数据比缺失更可怕
一致性	20%	跨系统对账经常出问题
及时性	10%	延迟可以容忍，但不能太久
唯一性	5%	重复数据影响不大，但会干扰统计
有效性	5%	格式问题通常可以清洗

三、数据质量阈值怎么设定？

阈值就是「及格线」。低于这条线，就要触发告警或阻断流程。怎么定？我总结了三种方法：

3.1 基于业务容忍度

直接问业务方：「你能接受多少比例的异常？」

• 财务数据：阈值 99.9%（几乎零容忍）
• 用户画像：阈值 95%（允许少量偏差）
• 日志数据：阈值 90%（量大，偶尔丢几条没关系）

3.2 基于历史基线

拿过去 30 天的数据质量得分做统计：

阈值 = 历史均值 - 2 × 标准差

举个例子：

• 过去 30 天完整性得分均值 97，标准差 1.5
• 阈值 = 97 - 2 × 1.5 = 94
• 哪天低于 94 分，自动告警

3.3 基于趋势变化

有时候单日得分没跌破阈值，但连续 3 天都在下降。这种「温水煮青蛙」的情况更危险。我会加一个趋势检测：

if 连续3天得分下降 and 下降幅度 > 2%:
    触发告警

四、一张图看懂数据质量度量体系

下面这张图是我自己画的数据质量度量框架，你可以直接拿去用：

五、落地时要注意的几个坑

理论说完了，聊聊实战中我踩过的坑：

1. 指标太多，团队跑不动。 我曾经在一个项目里定义了 20 多个指标，结果运维每天光看告警就花两小时。后来砍到 6 个核心指标，反而效果更好。
2. 阈值设得太死。 比如完整性阈值设 99%，结果因为一次网络抖动掉到 98.9%，触发了一堆无效告警。我后来加了「连续 N 次低于阈值才告警」的逻辑，消停了。
3. 得分计算不考虑数据量。 小表和大表用同一个公式，小表波动极大。比如一张只有 100 条记录的表，缺失 2 条就扣 2 分；而 100 万条的表缺失 200 条才扣 0.02 分。我建议对小表单独设规则，或者用「置信区间」做平滑。