核心指标体系设计：五大维度的定义与度量
数据质量好不好，不能光靠感觉。你得有指标，能量化，能对比。
我见过不少团队，一上来就搞看板，结果指标定义不清，大家吵来吵去。说白了，数据质量看板的根基，就是这五个维度：完整性、准确性、一致性、及时性、唯一性。今天咱们就把它们掰开揉碎了讲清楚。
核心观点：五个维度不是孤立存在的。实际项目中，一个数据质量问题往往同时涉及多个维度。比如一条订单记录缺失了金额（完整性），但已有的金额算错了（准确性），还和财务系统对不上（一致性）。设计看板时，要能同时监控这些交叉问题。
2.1 完整性：数据有没有缺胳膊少腿
完整性，就是看数据该有的字段有没有、该有的记录齐不齐。举个例子，用户表里「手机号」字段，10条记录有3条是空的，那完整性就是70%。
我个人习惯把完整性拆成两个层面：
- 字段级完整性：某个字段的空值率、默认值占比。比如订单表的「收货地址」不能为空。
- 记录级完整性：业务主键是否缺失。比如每天应该到1000条交易记录，实际只到了980条。
我的经验：完整性是最容易监控的维度，但也是最容易被忽视的。我曾经接手一个项目，ETL跑了大半年，突然发现某个上游表新增了3个必填字段，下游全都没适配。那段时间的报表数据，完整性只有60%多。所以，我建议完整性监控要跟元数据变更联动。
度量公式很简单：
字段完整性 = (非空记录数 / 总记录数) × 100%
记录完整性 = (实际到达记录数 / 预期记录数) × 100%2.2 准确性：数据跟真实世界对得上吗
完整性只解决了「有没有」的问题，准确性解决的是「对不对」。你想想看，手机号字段填了，但填的是「1234567890」，这算完整，但不准确。
准确性度量比较麻烦，因为它需要参照系。常见的做法有：
- 规则校验：身份证号是否符合校验位规则、金额是否在合理范围内。
- 交叉比对：跟权威数据源或业务系统做字段级比对。
- 人工抽检：随机抽取样本，人工核对准确率。
| 校验类型 | 示例规则 | 度量方式 |
|---|---|---|
| 格式校验 | 邮箱必须包含 @ | 格式正确记录数 / 总记录数 |
| 范围校验 | 年龄 0-120 岁 | 范围内记录数 / 总记录数 |
| 业务逻辑校验 | 下单时间 < 发货时间 | 逻辑正确记录数 / 总记录数 |
| 交叉比对 | 订单金额 = 商品单价 × 数量 | 一致记录数 / 总记录数 |
注意：准确性指标不能只看整体，要按业务场景分层。比如「用户年龄」字段，在风控场景下要求99.9%准确，在营销场景下90%可能就够了。我曾经因为没区分场景，一刀切要求所有字段99%准确，结果被业务方吐槽「你们数据团队是不是闲得慌」。
2.3 一致性：不同系统说的是一回事吗
一致性，说白了就是「同一个东西，在不同地方不能有两个说法」。这是企业数据治理里最头疼的问题之一。
我遇到过最典型的场景：CRM系统里客户状态是「已签约」，但财务系统里同一客户显示「待付款」。两个系统口径不一致，导致销售和财务天天吵架。
一致性度量通常分三种：
- 跨系统一致性：同一实体在不同系统中的关键字段值是否一致。
- 时间维度一致性：同一指标在不同时间窗口的计算结果是否一致。
- 口径一致性：同一指标的定义、计算逻辑是否统一。
跨系统一致性 = (各系统关键字段一致的记录数 / 总记录数) × 100%
口径一致性 = (口径统一的指标数 / 总指标数) × 100%避坑指南：一致性监控要选对「锚点系统」。我一般选业务主系统作为基准，其他系统跟它比对。千万别搞成「所有系统互相比对」，那样会产生N×(N-1)/2个比对任务，维护成本爆炸。
2.4 及时性：数据来得够快吗
及时性，就是数据从产生到可用，花了多长时间。这个维度在实时数仓和流处理场景下特别重要。
我把它拆成两个指标：
- 延迟时间：数据产生时间 到 数据入库时间的差值。
- 时效达标率：在约定时间内到达的数据占比。
举个例子，业务要求交易数据在5分钟内入库。如果今天有1000笔交易，其中980笔在5分钟内到了，那时效达标率就是98%。
| 业务场景 | 典型时效要求 | 度量周期 |
|---|---|---|
| 实时风控 | 秒级 | 每分钟 |
| 交易报表 | 分钟级（T+0） | 每小时 |
| 财务对账 | 小时级（T+1） | 每天 |
| 离线分析 | 天级（T+1） | 每天 |
我的习惯：及时性监控一定要设「红线」和「黄线」。红线是不能超的阈值，比如风控数据超过10秒就算事故。黄线是预警线，比如超过3秒就发告警。这样既能保证核心业务，又不会因为小波动就频繁报警。
2.5 唯一性：数据有没有重复
唯一性，就是看同一实体在数据集中是否只出现一次。重复数据会污染分析结果，导致统计失真。
唯一性度量主要针对主键或业务唯一标识：
唯一性 = (1 - 重复记录数 / 总记录数) × 100%常见的重复场景：
- 完全重复：所有字段值都相同。
- 业务主键重复：比如同一订单ID出现多次。
- 近似重复：比如「张三」和「张 三」被当成两条记录。
注意：唯一性不是越高越好。有些场景下，比如日志表，允许重复记录存在。我见过有人把日志表的唯一性也要求99.9%，结果天天报警，最后发现是设计之初就没搞清楚业务场景。所以，唯一性指标一定要结合业务主键来定义。
2.6 综合评分：五个维度怎么拧成一股绳
五个维度各自有指标了，但看板上不能摆五个孤立的数字。你得有个综合评分，让老板一眼看出数据质量整体怎么样。
我常用的综合评分公式：
数据质量综合评分 = w1×完整性 + w2×准确性 + w3×一致性 + w4×及时性 + w5×唯一性
其中 w1 + w2 + w3 + w4 + w5 = 1权重怎么定？看业务优先级。比如金融风控场景，准确性和及时性权重高；客户主数据场景，完整性和唯一性更重要。
我的建议：权重不要拍脑袋定。拿历史数据跑一遍，看看哪个维度的问题对业务影响最大，那个维度的权重就高。我一般会跟业务方一起做一次「数据质量影响分析」，把每个维度出问题时造成的损失量化，然后反推权重。