1. 数据质控概述：先搞清楚我们为什么要干这活

大家好，我是这门课的主讲。在数据圈摸爬滚打了十几年，我见过太多项目死在了“数据质量”这四个字上。今天咱们先聊聊最基础、也最重要的问题：数据质量到底是什么玩意儿？它凭什么这么重要？我们费劲巴拉搞那些质控指标，到底图个啥？

1.1 数据质量的定义：不只是“数据没错”那么简单

很多人一听到数据质量，脑子里第一反应就是“数据准不准”。嗯，这很对，但也不全对。你看，数据质量其实是一个多维度的概念，就像评价一个人不能光看长相一样。

我个人习惯把它拆成六个维度来理解：

说白了，数据质量就是数据满足使用要求的程度。你想想看，一份“完美”的数据用在错误的地方，它也是低质量的。

1.2 数据质量的重要性：坏数据的代价你根本扛不住

数据质量差，不只是给工程师添麻烦，它是真金白银的损失。我记得有一年帮一家电商公司做数据治理，发现他们的用户画像标签有30%都是错的。结果呢？推荐的广告白白浪费了几百万。

为什么会这样？因为数据质量问题有“滚雪球”效应。底层数据脏，中间层分析结果全错，最终决策就成了拍脑袋。

我遇到过几个典型的坏数据场景：

• BI报表没人信：管理层看了两版不一样的销售额，从此再也不信任何报表
• 模型训练白费：用脏数据训练风控模型，上线后直接放走了坏账
• 系统对接崩溃：两个系统因为日期格式不一致，ETL任务天天报错
• 合规审计暴雷：金融数据缺少关键字段，被监管罚了几十万

所以，我个人一直觉得，数据质量不是一个技术问题，它是一个业务风险问题。你不管它，它早晚会从某个你意想不到的地方蹦出来咬你一口。

1.3 质控指标的用途：用数字说话，别靠感觉

好，现在我们知道数据质量很重要。但怎么衡量它好不好呢？你不能光靠拍胸脯说“我觉得我们的数据挺干净的”。这就是质控指标存在的意义。

质控指标，说白了就是把抽象的数据质量变成可量化的数字。我平时把它们分成三类：

1.3.1 监控类指标：实时看水位

这类指标告诉我们系统当前的状态。比如：

• 数据延迟时长（分钟）
• 空值率（%）
• 重复记录数
• ETL任务失败次数/时

1.3.2 评估类指标：定期做体检

这类指标用来评估一个数据集或一个系统的整体健康度。比如：

• 数据完整率
• 引用完整性违规数
• 数据覆盖率

1.3.3 交付类指标：对业务有个交代

这类指标是给业务方看的，告诉他们“你的数据可以信任到什么程度”。比如：

• 可用数据占比
• 重点字段准确率
• 近7天数据质量评分趋势

1.4 课程整体框架：一张图看懂我们学什么

下面这张图，是我自己设计的课程知识体系框架。它展示了数据质控指标从定义、设计、度量到落地应用的全流程。你仔细看一下，这30章我们就是沿着这条路走的。