3、数据清洗概述：数据清洗的定义、目标、常见任务与流程总览
在AI训练数据集构建的完整链路中，数据清洗（Data Cleaning）是决定模型性能上限的关键工序。如果说数据采集决定了数据的“广度”，那么数据清洗则决定了数据的“纯度”与“可用性”。业界广泛流传的“Garbage In, Garbage Out”原则，其核心防线正是数据清洗。本章作为数据质量把控的基石，将系统阐述数据清洗的定义、核心目标、五大常见任务（缺失值处理、异常值检测、重复数据去除、噪声过滤、格式统一），并给出一个可落地的清洗流程总览。我们将从概念出发，结合实战案例与常见误区，帮助你建立一套系统化的数据清洗方法论。
3.1 数据清洗的定义与核心目标
3.1.1 核心原理：从“可用”到“好用”的质变
数据清洗是指检测、纠正或删除数据集中不准确、不完整、不合理、重复或格式不一致的记录，从而使数据集达到可用于分析、建模或训练的质量标准。在AI训练场景中，数据清洗不仅是简单的“删减”，更是一个有损修复与增强并重的过程。其核心目标可以归纳为四个维度：
- 准确性（Accuracy）：消除错误标注、错误取值，确保数据真实反映客观事实。
- 完整性（Completeness）：处理缺失值，使样本特征尽可能完整，避免模型因特征缺失产生偏见。
- 一致性（Consistency）：统一单位、编码、命名规范，消除同一实体在不同记录中的冲突。
- 唯一性（Uniqueness）：去除重复样本，防止模型对高频重复数据过拟合，降低泛化能力。
3.1.2 判断方法：如何评估数据是否需要清洗？
在动手清洗前，需要通过数据探查（Profiling）来判断数据质量状况。常用的判断指标包括：
| 质量维度 | 判断指标 | 阈值参考 | 触发清洗条件 |
|---|---|---|---|
| 缺失率 | 每列缺失值占比 | < 5% 可忽略；5%-20% 需填充；> 20% 考虑删除特征 | 关键特征缺失率 > 5% |
| 异常值 | Z-score > 3 或 IQR 法则 | 异常样本占比 < 1% | 异常值占比 > 1% 或存在业务上不可能的值 |
| 重复率 | 完全重复或近似重复比例 | < 2% | 重复率 > 2% 或存在大量近似重复 |
| 格式错误 | 类型不匹配、编码错误、日期格式混乱 | 0 容忍 | 任何格式错误均需修复 |
3.1.3 案例拆解：电商评论情感分类数据集的清洗决策
假设我们构建一个电商评论情感分类训练集，原始数据包含10万条评论。探查发现：评论内容缺失率8%，评分字段存在“5.0分”和“5分”两种格式，约3%的评论为系统自动生成的重复内容，另有0.5%的评论包含HTML标签噪声。针对这些情况，我们制定清洗策略：缺失评论若长度大于10字则保留并标记，否则删除；评分统一转为整数；重复评论通过SimHash去重；HTML标签用正则表达式剥离。清洗后数据集缩减至9.2万条，模型验证准确率从82.3%提升至87.6%。
3.1.4 常见误区与复盘
误区2：忽略清洗规则的业务合理性。例如在医疗数据中，将“年龄=0”视为异常值删除，但实际可能代表新生儿。清洗前必须与领域专家确认。
3.2 五大常见清洗任务详解
3.2.1 缺失值处理：策略选择与实施
缺失值处理是数据清洗中最常见的任务。处理策略分为三类：删除（Deletion）、填充（Imputation）、不处理（保留）。删除适用于缺失率低且随机缺失的样本；填充包括均值/中位数/众数填充、前向/后向填充、KNN填充、回归预测填充等；不处理适用于某些树模型可自动处理缺失值的情况。选择策略时需考虑缺失机制（完全随机缺失MCAR、随机缺失MAR、非随机缺失MNAR）。
# 缺失值处理示例（Python伪代码）
import pandas as pd
from sklearn.impute import KNNImputer
df = pd.read_csv('raw_data.csv')
# 策略1：删除缺失率超过30%的列
df = df.drop(columns=[col for col in df.columns if df[col].isnull().mean() > 0.3])
# 策略2：数值列用中位数填充，类别列用众数填充
num_cols = df.select_dtypes(include='number').columns
df[num_cols] = df[num_cols].fillna(df[num_cols].median())
cat_cols = df.select_dtypes(include='object').columns
df[cat_cols] = df[cat_cols].fillna(df[cat_cols].mode().iloc[0])
# 策略3：KNN填充（适合小规模高维数据）
imputer = KNNImputer(n_neighbors=5)
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)3.2.2 异常值检测：统计方法与业务规则结合
异常值检测需区分真实异常（如欺诈交易）与数据错误（如传感器故障）。常用方法包括：3σ原则（正态分布）、IQR（四分位距）法、Z-score标准化、孤立森林、DBSCAN聚类等。在AI训练中，异常值处理需谨慎：对于分类任务，异常值可能是少数类样本，不应直接删除；对于回归任务，极端值可能扭曲损失函数。
3.2.3 重复数据去除：从精确匹配到模糊匹配
重复数据分为完全重复（所有字段相同）和近似重复（部分字段相同但存在细微差异）。完全重复可通过哈希或数据库主键直接去除；近似重复需使用SimHash、MinHash、编辑距离、Jaccard相似度等方法。在NLP任务中，近似重复文本会加剧模型过拟合，必须去除。
| 方法 | 适用场景 | 复杂度 | 准确率 |
|---|---|---|---|
| MD5/SHA1哈希 | 完全重复 | O(n) | 100% |
| SimHash | 大规模文本近似重复 | O(n) | 85%-95% |
| 编辑距离 | 短文本、实体记录 | O(n²) | 95%+ |
| 机器学习分类器 | 复杂业务规则 | O(n·m) | 90%+ |
3.2.4 噪声过滤：信号与干扰的分离
噪声指数据中无意义的随机波动或错误信息。在图像数据中表现为像素噪点，在文本数据中表现为无关字符、HTML标签、表情符号等，在时间序列中表现为随机尖峰。过滤方法包括：信号平滑（移动平均、中值滤波）、正则表达式匹配删除、基于模型的重构（如自编码器）。需注意过滤强度，过度过滤会损失有效信息。
3.2.5 格式统一：标准化与规范化
格式统一包括：数据类型转换（字符串转数值、日期解析）、单位统一（公斤/磅、厘米/英寸）、编码统一（UTF-8、GBK）、文本规范化（全角转半角、大小写统一、去除多余空格）。在AI训练中，格式统一直接影响特征工程的效果。例如，日期字段若存在“2024/01/01”和“2024-01-01”两种格式，模型将无法正确解析时间特征。
3.3 清洗流程总览：六步闭环方法论
3.3.1 流程框架与操作步骤
- 数据探查（Profiling）：使用pandas-profiling、Great Expectations等工具生成数据质量报告，记录缺失率、唯一值、分布、类型等。
- 规则定义（Rule Definition）：根据业务目标和数据探查结果，制定清洗规则文档，明确每类问题的处理策略。
- 执行清洗（Execution）：编写清洗脚本（Python/PySpark/SQL），按规则批量处理。建议分模块执行，便于排查问题。
- 质量验证（Validation）：清洗后重新生成质量报告，对比清洗前后关键指标（如缺失率、重复率、分布偏移）。
- 文档记录（Documentation）：记录清洗规则、删除/修改的样本量、操作时间、操作人，确保可追溯。
- 迭代优化（Iteration）：根据模型训练反馈，调整清洗规则，形成闭环。
3.3.2 案例拆解：金融风控数据集清洗全流程
某金融科技公司构建反欺诈模型，原始数据集包含500万条交易记录、200个特征。初始模型AUC仅为0.72。通过六步清洗流程：探查发现：交易金额字段存在5%的负值（业务上不可能）、设备指纹字段缺失率40%、约10万条完全重复记录。规则定义：负值交易金额视为异常，删除；设备指纹缺失用“Unknown”填充并增加缺失标记特征；重复记录按交易时间保留最新一条。执行清洗：使用PySpark分布式处理，耗时2小时。质量验证：清洗后数据量降至480万条，负值占比0%，重复率0.5%。文档记录：生成清洗报告，标注删除原因分布。迭代优化：模型AUC提升至0.79。后续每两周根据新数据分布调整规则。
3.3.3 常见误区与总结复盘
误区2：忽略清洗对数据分布的影响。例如删除大量异常样本后，训练集与真实分布产生偏移，导致模型上线后效果衰减。
误区3：清洗与特征工程混淆。清洗是修正错误，特征工程是创造新特征，两者应分开实施。