一、数据质量概述：到底什么是数据质量？
各位同学好，我是老张。做数据治理这行十几年了，今天咱们聊聊最基础但也最容易被忽视的问题——数据质量。
你想想看，公司花大价钱建了数据平台，上了BI报表，搞了数据中台。结果呢？业务部门一看数据就摇头：「这数不对啊」。为什么？根子就在数据质量上。
数据质量，说白了就是数据满足使用要求的程度。我个人的理解更直白：数据能不能帮人做对决策。能，质量就好；不能，质量就差。
核心观点：数据质量不是技术问题，是业务问题。数据最终是给人用的，不是给数据库存的。
1.1 数据质量的六大维度
业内公认的数据质量框架，一般包含六个维度。我一个个讲，每个都带点实战中的坑。
| 维度 | 定义 | 通俗理解 |
|---|---|---|
| 完整性 | 数据是否缺失 | 该有的字段有没有值 |
| 准确性 | 数据是否真实反映客观事实 | 数据对不对 |
| 一致性 | 不同系统间的数据是否吻合 | 两边对得上吗 |
| 及时性 | 数据是否在需要时可用 | 数据来得够快吗 |
| 唯一性 | 数据是否有重复 | 有没有重复记录 |
| 有效性 | 数据是否符合业务规则 | 数据格式对吗 |
完整性
完整性是最容易发现的。比如客户表里手机号为空，订单表里金额字段是NULL。我在项目中遇到过最夸张的一次，某核心表的关键字段缺失率高达40%。业务方居然一直没发现，因为报表里自动把NULL当0处理了。嗯，这就是典型的「眼不见为净」。
准确性
准确性比完整性难搞。数据有值，但值不对。比如用户年龄填了200岁，订单金额多了两个零。我曾经接手过一个电商项目，订单金额字段居然混入了文本「待确认」。你说这数据怎么算？
一致性
一致性是跨系统的老大难。CRM里客户叫「张三」，ERP里叫「张先生」，数据仓库里叫「Zhang San」。你想想看，同一个客户，三个名字。做客户360视图的时候，这数据能信吗？
及时性
及时性常被忽略。数据再准，来得太晚也没用。比如风控系统需要实时判断交易是否欺诈，结果数据延迟了半小时。等数据到了，钱早转走了。我建议做数据治理时，一定要问清楚业务方：这个数据多久内有效？
唯一性
唯一性就是去重。同一个客户注册了两次，同一个订单录入了三遍。我记得有个项目做用户画像，结果发现「用户总数」比实际注册人数多了30%。一查，全是重复数据。
有效性
有效性是格式和规则校验。手机号必须是11位数字，邮箱必须带@，日期必须是YYYY-MM-DD。这些规则看似简单，但实际数据里什么妖魔鬼怪都有。我曾经见过一个日期字段，里面填的是「昨天」、「下周」、「尽快」……
个人经验：六大维度不是孤立的。比如完整性差往往导致准确性也差，唯一性问题会破坏一致性。做校验规则时，建议先梳理维度间的关联关系。
1.2 数据质量的重要性与业务影响
数据质量差，到底会怎样？我直接说几个真实案例。
- 决策错误：报表数据不准，管理层拍板拍错方向。我见过一家零售公司，因为库存数据不准，多采购了3000万的货，最后全积压在仓库。
- 成本浪费：数据清洗、人工核对、返工修复，这些全是钱。有统计说，数据质量差导致的企业损失，平均占营收的15%-20%。
- 合规风险：金融、医疗行业对数据质量有硬性要求。数据不准，轻则罚款，重则吊销牌照。
- 信任崩塌：业务部门反复发现数据有问题，慢慢就不信数据了。最后大家凭经验拍脑袋，数据平台成了摆设。
避坑指南：我曾经见过一个团队，花了一年时间建数据平台，结果上线第一天就被业务方投诉数据不准。为什么？因为他们只关注了数据「有没有」，没关注数据「对不对」。数据质量必须从源头抓起，别等数据进仓了再治理。
1.3 数据质量知识体系总览
下面这张图，是我自己梳理的数据质量知识体系。你可以把它当成整个课程的地图。
从这张图你能看到，数据质量不是孤立的概念。六大维度是基础，业务影响是后果，治理手段是解决方案。而我们这门课，重点就是讲清楚「校验规则编写」这个环节。
我的建议：学数据质量，别一上来就钻技术细节。先把这六个维度吃透，理解每个维度在业务场景里长什么样。后面写规则的时候，你自然知道该从哪下手。
好了，第一章就到这里。数据质量的概念和六大维度，是后面所有章节的基石。你想想看，如果连「什么是好数据」都没搞清楚，后面写再多校验规则也是白搭。