数据质量维度：六大核心要素

数据质量这件事，说白了就是数据能不能用、好不好用。我做了这么多年数据治理，见过太多项目在数据质量上栽跟头。有的系统跑着跑着突然报错，查了半天发现是某个字段格式乱了；有的报表对不上账，业务部门天天吵架。这些问题的根子，都在数据质量上。

今天咱们就聊聊数据质量的六个核心维度。这六个维度，是我在实际项目中反复验证过的，也是业界公认的评估框架。

完整性：数据有没有缺胳膊少腿

完整性，就是看数据有没有缺失。比如用户注册时，手机号是必填的，结果有10%的用户这条是空的——这就是完整性有问题。

我习惯把完整性分成两个层面：

• 记录完整性：该有的记录有没有。比如每天的交易流水，理论上应该有1000条，实际只到了980条。
• 字段完整性：该填的字段填了没。比如订单表里的收货地址，不能是空值。

准确性：数据是不是对的

完整性只关心有没有数据，准确性关心的是数据对不对。举个例子，用户年龄字段填了"180岁"，完整性没问题，但准确性一塌糊涂。

准确性评估通常需要参照真实来源：

• 与源系统比对：数据从A系统同步到B系统，值变了没有
• 业务规则校验：金额字段不能为负数，日期不能是未来时间
• 交叉验证：两个相关字段的值是否逻辑自洽，比如"出生日期"和"年龄"

一致性：不同地方的数据能不能对上

一致性，说白了就是同一个东西在不同系统里是不是一样的。比如客户"张三"在CRM系统里叫"张三"，在订单系统里叫"张先生"，这就对不上了。

我一般把一致性分成三类：

类型	说明	常见问题
格式一致性	同一字段的格式是否统一	日期格式有的用"2024-01-01"，有的用"2024/01/01"
值域一致性	同一字段的取值范围是否一致	性别字段有的用"男/女"，有的用"M/F"
逻辑一致性	关联字段之间的逻辑关系是否成立	订单金额 = 商品单价 × 数量，这个等式要成立

你想想看，如果一致性出了问题，做数据汇总的时候就会乱套。我见过一个集团公司的报表，各子公司的"营业收入"口径都不一样，合并报表根本没法看。

时效性：数据是不是最新的

时效性，就是数据从产生到可用，花了多长时间。有些场景对时效性要求极高，比如股票交易数据，延迟几秒就是大事。有些场景则宽松一些，比如月度报表，T+1天出都没问题。

评估时效性，我建议关注两个指标：

• 数据延迟：从业务发生到数据入库的时间差
• 数据新鲜度：当前数据集中，最新数据的时间戳

唯一性：有没有重复数据

唯一性，就是看同一实体在数据集中是否只出现一次。重复数据会带来很多问题，比如统计结果偏大、资源浪费、业务逻辑混乱。

我评估唯一性时，通常会做这几件事：

1. 定义唯一标识：确定用什么字段来判断重复，比如身份证号、订单号
2. 检测重复记录：用SQL或工具找出完全重复或部分重复的数据
3. 分析重复原因：是系统bug、人工录入错误，还是接口重复调用

规范性：数据格式对不对

规范性，就是数据是否符合预定义的格式标准。比如手机号必须是11位数字，邮箱必须包含"@"符号。规范性是数据质量的基础，如果连格式都不对，后面的分析根本没法做。

我习惯把规范性检查做成自动化规则：

-- 手机号格式校验示例
SELECT 
  user_id,
  phone,
  CASE 
    WHEN phone NOT REGEXP '^1[3-9]\\d{9}$' 
    THEN '格式异常'
    ELSE '格式正常'
  END AS phone_status
FROM user_table;

规范性评估的关键在于：标准要提前定好，而且要落地到系统层面。不能光靠人工检查，那效率太低了。

六个维度的协同评估

这六个维度不是孤立的，它们之间相互影响。比如：

• 完整性差，会导致准确性评估失真（缺失值太多，统计结果偏了）
• 规范性差，会影响一致性（格式不统一，对不上）
• 唯一性差，会拉低准确性（重复数据导致统计结果偏高）

我建议在实际评估时，先做规范性和完整性检查，再做唯一性和一致性，最后评估准确性和时效性。这个顺序是我在实践中摸索出来的，能减少很多重复工作。