1. 数据质量概述
数据质量是数据分析和机器学习建模的基石。在《从数据质量到模型看板全流程》课程中，我们首先需要建立对数据质量的统一认知：它不仅是技术问题，更是业务决策可信度的保障。低质量数据会导致模型偏差、业务误判，甚至带来合规风险。
1.1 数据质量的定义
数据质量（Data Quality）是指数据在特定使用环境下，满足业务需求、分析目标或系统集成的程度。它衡量的是数据是否“适合用途”（fitness for use）。一个高质量的数据集应当能够真实反映其所描述的现实世界对象或事件，并且能够被可靠地用于预期的操作、决策或建模任务。
核心观点： 数据质量不是绝对的“好”或“坏”，而是相对于具体业务场景的“适用性”。同一份数据，在A场景下可能质量合格，在B场景下则可能不达标。
1.2 数据质量的重要性
数据质量直接影响从数据采集到模型上线的每一个环节。其重要性体现在以下四个关键层面：
| 层面 | 影响描述 | 典型后果 |
|---|---|---|
| 业务决策 | 管理层依赖数据报表制定战略 | 错误数据导致错误决策，造成经济损失 |
| 模型性能 | 机器学习模型“垃圾进，垃圾出” | 模型准确率下降、过拟合、泛化能力差 |
| 运营效率 | 数据清洗与修复消耗大量人力 | 项目延期、开发成本激增 |
| 合规与风控 | 金融、医疗等行业监管严格 | 数据造假或缺失导致法律风险与罚款 |
实战提示： 在项目启动阶段，建议将数据质量评估作为独立里程碑。如果数据质量得分低于60%，应优先进行数据治理，而非直接进入建模环节。
1.3 数据质量五大维度
业界通常使用以下五个核心维度来量化评估数据质量。每个维度都对应具体的检查规则和修复策略。
- 准确性（Accuracy）：数据描述的信息与真实世界的一致程度。例如，用户年龄字段是否与身份证一致。
- 完整性（Completeness）：数据记录中缺失值的比例。例如，客户表中手机号字段的缺失率。
- 一致性（Consistency）：同一数据在不同系统或不同记录间是否矛盾。例如，CRM系统与ERP系统中同一客户的地址是否相同。
- 及时性（Timeliness）：数据从产生到可被使用的时间延迟。例如，实时风控系统要求数据延迟在秒级以内。
- 唯一性（Uniqueness）：数据集中是否存在重复记录。例如，同一用户是否被注册了多个账号。
1.4 维度详解与检查规则
在实际项目中，我们需要为每个维度定义具体的检查规则。下表列出了常见的质量问题和对应的SQL/Python检查思路：
| 维度 | 常见问题 | 检查规则示例 |
|---|---|---|
| 准确性 | 字段值超出合理范围（如年龄200岁） | WHERE age < 0 OR age > 120 |
| 完整性 | 关键字段为空（如手机号缺失） | WHERE phone IS NULL |
| 一致性 | 同一客户在不同表中地址不同 | JOIN ... WHERE A.address != B.address |
| 及时性 | 数据更新时间超过业务容忍阈值 | WHERE update_time < NOW() - INTERVAL 1 HOUR |
| 唯一性 | 主键重复或业务逻辑重复 | GROUP BY user_id HAVING COUNT(*) > 1 |
常见误区： 很多团队只关注“完整性”和“唯一性”，而忽略了“一致性”和“准确性”。例如，两个系统数据都完整且唯一，但相互矛盾，这会导致模型训练时特征冲突，最终影响预测结果。
1.5 数据质量评估流程
在进入建模之前，建议按照以下步骤对原始数据进行系统性评估：
- 步骤1： 定义业务规则与阈值（如：年龄0-120，手机号11位数字）。
- 步骤2： 运行数据质量检查脚本，生成各维度得分。
- 步骤3： 汇总质量报告，标记不合格字段。
- 步骤4： 制定修复策略（如：删除、填充、标记异常）。
- 步骤5： 复检并记录数据血缘，确保修复可追溯。
1.6 本章小结
数据质量是数据科学项目的生命线。通过本章学习，你应掌握：
- 数据质量的定义及其“适合用途”的核心思想。
- 数据质量在业务、模型、效率、合规四个层面的重要性。
- 五大维度的具体含义、常见问题及检查规则。
- 标准化的数据质量评估流程。