1. 数据质量概述
1.1 数据质量的定义
数据质量（Data Quality）是指数据在特定使用环境下满足业务需求、支持决策分析的程度。高质量的数据能够真实、完整地反映客观事实，并在数据采集、存储、处理、交换的全生命周期中保持稳定可靠。数据质量不是绝对概念，而是相对于数据的使用场景和业务目标而言的——同一份数据在某个场景下可能质量合格，在另一个场景下则可能不达标。
核心认知：数据质量管理的目标不是追求“完美数据”，而是确保数据“适用于预期用途”。在数据治理实践中，通常用六大维度来量化评估数据质量水平。
1.2 数据质量六大维度
数据质量六大维度是业界广泛认可的质量评估框架，覆盖了数据从产生到消费的关键质量特征。下表对每个维度进行了定义、典型场景和检查要点的对比：
| 维度 | 定义 | 典型问题场景 | 检查要点 |
|---|---|---|---|
| 完整性 | 数据记录和字段是否存在缺失 | 用户注册信息缺少手机号、订单表缺少支付时间 | 空值率、必填字段填充率、记录缺失比例 |
| 准确性 | 数据值与真实值的一致程度 | 客户年龄录入为负数、商品价格小数点错位 | 数值范围校验、与权威源比对、业务规则验证 |
| 一致性 | 同一数据在不同系统或不同时间点保持一致 | CRM系统客户姓名与ERP系统不一致、编码标准不统一 | 跨系统字段比对、编码映射校验、格式标准化 |
| 及时性 | 数据从产生到可用的时间延迟是否满足业务要求 | 日报数据延迟2天、实时风控数据滞后30分钟 | 数据时间戳比对、SLA达标率、更新频率监控 |
| 唯一性 | 数据实体是否存在重复记录 | 同一客户在会员表出现多条记录、订单号重复 | 主键唯一性、重复记录检测、去重规则执行 |
| 有效性 | 数据是否符合定义的格式、类型和取值范围 | 邮箱格式错误、日期字段出现“2025-13-01”、性别字段填入“男/女”以外的值 | 正则表达式校验、枚举值检查、数据类型验证 |
六大维度速记口诀：“完准一及唯效”——完整性、准确性、一致性、及时性、唯一性、有效性。在Python脚本检查中，每个维度都可以对应一组明确的检查函数和阈值规则。
1.3 数据质量检查的重要性
数据质量检查不是可选的“锦上添花”，而是数据驱动业务的基础保障。低质量数据会直接导致决策失误、运营效率下降、合规风险增加。以下从三个层面说明其重要性：
- 业务决策层面：基于不完整或不准确的数据做出的分析结论可能完全偏离事实。例如，缺失30%销售记录的报表会导致库存补货策略错误，造成资金积压或断货损失。
- 技术系统层面：脏数据进入数据仓库或机器学习模型后，会引发“垃圾进、垃圾出”（GIGO）效应。ETL管道因数据格式异常而中断、模型因异常值而收敛失败，都是常见的技术代价。
- 合规与风控层面：金融、医疗、政务等强监管行业对数据质量有明确法规要求。数据不完整或不一致可能导致审计不通过、罚款甚至法律诉讼。
常见误区：很多团队在项目初期忽视数据质量检查，等到数据量膨胀到TB级别后再回头治理，成本将呈指数级上升。建议在数据管道搭建之初就将质量检查脚本嵌入ETL流程，实现“左移治理”。
1.4 数据质量六大维度关系图
下图展示了六大维度之间的逻辑关系：完整性、准确性、一致性构成数据的基础质量层；唯一性和有效性构成数据的规范质量层；及时性则贯穿数据生命周期，反映数据的时间价值。各维度相互影响，例如数据不完整可能导致一致性校验失败，数据不准确也会影响有效性判断。
1.5 数据质量检查的典型流程
在实际项目中，数据质量检查通常遵循“定义规则 → 执行检查 → 评估结果 → 修复问题 → 持续监控”的闭环流程。以下流程图展示了从原始数据到质量报告的完整检查链路：
1.6 数据质量检查的Python脚本定位
在本课程中，我们将使用Python作为数据质量检查的核心工具。Python具备以下优势，使其成为数据质量检查的理想选择：
- 生态丰富：pandas、numpy、great_expectations等库提供了现成的质量检查函数。
- 自动化友好：脚本可以轻松集成到Airflow、Cron等调度系统，实现定时自动检查。
- 可扩展性强：从单表简单校验到跨系统复杂规则，Python都能灵活实现。
- 结果可视化：结合matplotlib、seaborn等库，可将检查结果生成直观的图表报告。