1. 数据质量概述

1.1 数据质量的定义

数据质量（Data Quality）是指数据在特定使用环境下满足业务需求、分析任务或模型训练要求的程度。在机器学习工程中，数据质量通常从多个维度进行衡量，包括准确性、完整性、一致性、时效性、唯一性和可靠性。

一个被广泛接受的定义来自国际数据管理协会（DAMA）：数据质量是数据与其预期用途之间的匹配程度。对于模型训练而言，高质量数据意味着数据能够真实、无偏地反映目标分布，从而帮助模型学习到有效的特征与决策边界。

1.2 数据质量的重要性

数据质量直接影响模型训练的全生命周期。低质量数据会导致以下问题：

• 训练效率下降： 模型需要更多迭代才能收敛，甚至无法收敛。
• 模型偏差放大： 数据中的系统性错误会被模型学习并放大。
• 泛化能力减弱： 在真实场景中表现远低于训练集上的指标。
• 维护成本激增： 后期需要大量人工排查和重新标注。

业界有句广为流传的话："Garbage In, Garbage Out"（垃圾进，垃圾出）。无论模型架构多么先进、算力多么强大，如果输入数据质量不过关，最终模型性能必然受限。

1.3 数据质量对模型性能的影响

数据质量对模型性能的影响可以通过量化指标来理解。以下是一个典型实验对比：

• 干净数据集： 准确率 92%，F1 分数 0.91，训练时间 2.3 小时。
• 含 10% 标签噪声： 准确率降至 78%，F1 分数 0.74，训练时间延长至 3.8 小时。
• 含 20% 缺失值： 准确率降至 71%，模型在部分类别上完全失效。
• 含 15% 重复样本： 验证集准确率虚高至 95%，但线上测试仅 68%。

1.4 常见数据质量问题分类

数据质量问题可以从数据生命周期的不同阶段进行分类。以下是机器学习项目中最常见的六类问题：

1. 缺失数据： 特征值缺失、标签缺失、样本不完整。常见原因包括传感器故障、人工录入遗漏、数据采集中断。
2. 噪声数据： 包含随机错误或异常值。例如传感器漂移、录入笔误、传输丢包导致的数值异常。
3. 不一致数据： 同一实体在不同数据源中的表示不同。如"北京市"与"北京"、"2024/01/01"与"01-01-2024"。
4. 重复数据： 相同或高度相似的样本出现多次，导致模型对这部分数据过度学习。
5. 标签错误： 标注类别错误、标注边界不准确、多标注者之间不一致。
6. 分布偏移： 训练数据分布与真实应用场景分布不一致，包括特征分布偏移和标签分布偏移。

1.5 数据质量问题的根源分析

理解数据质量问题的根源有助于从源头进行预防。常见根源包括：

• 数据采集阶段： 传感器精度不足、采样频率不合理、采集环境干扰。
• 数据标注阶段： 标注指南不清晰、标注人员经验不足、标注工具存在缺陷。
• 数据存储阶段： 存储格式转换导致精度丢失、数据库编码不一致。
• 数据集成阶段： 多源数据融合时字段映射错误、时间戳对齐偏差。
• 数据传输阶段： 网络丢包、压缩解压失真、加密解密异常。