1. 数据质量概述

聊数据质量之前，我先问大家一个问题：你手头的数据，你敢直接用吗？

我在很多项目里都见过这样的场景——业务部门拿着报表来找技术，说这个数不对啊，那个数怎么跟昨天不一样。然后一查，发现是某个字段没做校验，空值混进去了。嗯，这种事儿，干过几年数据的人，多少都遇到过。

什么是数据质量

数据质量，说白了就是数据能不能用、好不好用。它不是一个模糊的概念，而是有具体维度的。

我个人习惯把数据质量拆成六个维度来看：

维度	说明	举个反例
完整性	数据有没有缺失	用户表里手机号字段 30% 是空的
准确性	数据是否真实反映客观事实	订单金额多了一个零
一致性	不同系统间的数据是否对得上	CRM 里客户叫张三，ERP 里叫张三四
及时性	数据更新是否满足业务时效	昨天的报表今天下午才跑出来
唯一性	有没有重复记录	同一个用户注册了三个账号
有效性	数据是否符合业务规则	年龄字段填了 200 岁

这六个维度，是我做数据治理这些年一直用的框架。你想想看，任何一个数据问题，基本都能归到其中一类。

数据质量为什么重要

这个问题，我换个角度回答你：数据质量差，到底会怎样？

具体来说，数据质量差会带来三个层面的代价：

• 直接经济损失——比如上面说的超卖，或者因为数据不准导致的错误发货、重复付款。
• 信任崩塌——业务部门不再相信数据，回到凭经验做决策的老路。我见过最夸张的，业务自己建 Excel 台账，跟数据仓库对着干。
• 合规风险——金融、医疗这些行业，数据不准可能直接违反监管要求。罚款、整改，都是真金白银。

我曾经在一个项目中，因为数据质量问题，导致模型上线后预测结果完全偏离。那一次，整个团队加班两周才把问题定位清楚。嗯，从那以后，我再也不敢轻视数据质量了。

数据质量差的代价——一个真实案例

我给大家讲个具体的例子。

某零售企业，每天从门店采集销售数据。因为门店 POS 系统老旧，经常出现数据延迟和乱码。数据团队每天花 3 个小时做清洗，但还是有 5% 的数据对不上。

结果呢？

• 采购部门根据错误数据补货，导致畅销品缺货、滞销品积压。
• 财务部门月底对账，差异金额高达 200 万。
• 数据分析师 60% 的时间花在「洗数据」上，真正有价值的分析没人做。

你算算，这背后是多少隐性成本？

数据质量监控的目标与价值

好，既然数据质量这么重要，那我们怎么管？

数据质量监控，目标就四个字：早发现、快定位。

• 早发现——在数据问题影响业务之前，就把它揪出来。
• 快定位——出了问题，能快速知道是哪个环节、哪个字段、哪条规则出了问题。

它的价值，我总结成三点：

1. 降低修复成本——问题发现得越早，修复成本越低。数据刚进数仓就发现异常，跟数据已经流入报表再发现，完全是两个概念。
2. 提升数据信任度——当业务部门知道数据有监控、有保障，他们才敢放心用。信任这东西，建立起来很难，毁掉却很容易。
3. 形成闭环治理——监控不只是报警，还要推动源头治理。我习惯的做法是：监控发现问题 → 定位根因 → 推动业务或系统修复 → 验证效果 → 沉淀为规则。这样循环下来，数据质量会越来越好。

下面这张图，是我自己总结的数据质量监控的核心逻辑：