4、数据清洗基础：缺失值处理、异常值检测、重复数据消除、噪声过滤与数据质量评估

多模态数据（图像、文本、音频、传感器时序等）在采集与汇聚过程中，不可避免地会引入缺失、异常、重复与噪声问题。数据清洗并非简单的“删除坏数据”，而是通过系统化的诊断与修复策略，提升数据集的可用性、一致性与可信度。本章围绕数据清洗的四大核心任务——缺失值处理、异常值检测、重复数据消除、噪声过滤，以及最终的数据质量评估，构建一套可落地的工程方法论。清洗策略的选择直接影响后续特征工程与模型训练的稳定性，因此需要结合数据模态特性、业务语义与计算成本进行综合权衡。

数据清洗不是一次性任务，而是一个“诊断-策略-执行-评估-迭代”的闭环过程。上图展示了从多模态数据源到最终高质量数据集的工程链路，其中数据诊断是起点，质量评估是终点也是新一轮迭代的起点。在实际项目中，清洗策略的选择必须基于数据画像结果，而非盲目套用模板。

4.1 缺失值处理：从诊断到填充的完整策略

4.1.1 核心原理：缺失机制与模态差异

缺失值处理的前提是理解缺失机制。统计上分为完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。MCAR指缺失与任何变量无关，可直接删除；MAR指缺失与其他观测变量相关，可通过建模填充；MNAR指缺失与缺失值本身相关，处理难度最大，需引入领域知识。在多模态场景中，缺失还呈现模态特有形式：图像可能因传感器故障出现像素块缺失，文本可能因采集截断导致句子不完整，音频可能因网络丢包产生静音段，时序数据可能因设备离线产生时间戳空洞。

4.1.2 判断方法与操作流程

缺失值处理的工程流程分为四步：缺失率统计（按列、按行、按模态）、缺失模式可视化（热力图、条形图）、机制推断（通过相关性分析判断MCAR/MAR）、策略选择与执行。对于缺失率低于5%的列，可直接删除；缺失率在5%-20%之间，优先使用中位数/众数填充或KNN插补；缺失率超过20%，需考虑该特征是否保留，或使用模型预测填充。对于图像数据，可使用OpenCV的inpaint算法基于周围像素修复；对于文本，可使用特殊标记[MISSING]或上下文语言模型预测；对于时序数据，线性插值或样条插值通常比均值填充更合理。

# 时序数据缺失值处理示例（Python伪代码）
import pandas as pd
from sklearn.impute import KNNImputer

# 假设df为多模态特征表，其中'audio_feat'列存在缺失
imputer = KNNImputer(n_neighbors=5, weights='distance')
df_filled = imputer.fit_transform(df[['audio_feat', 'text_len', 'img_brightness']])
# 对于时间序列，使用插值更合适
df['sensor_1'] = df['sensor_1'].interpolate(method='spline', order=3)

4.1.3 案例拆解：多模态情感分析中的缺失值处理

某情感分析项目融合文本、语音和面部视频三模态数据。原始数据中，文本字段缺失率8%（部分用户不愿输入文字），语音特征缺失率15%（麦克风故障），视频帧缺失率3%（采集设备丢帧）。初始方案直接删除含缺失的样本，导致有效样本从10,000条降至6,800条，且删除后样本偏向年轻用户群体（因年长用户更少输入文本），引入选择偏差。改进方案：文本缺失使用BERT上下文预测填充；语音特征使用KNN插补（基于文本情感得分和视频表情特征）；视频帧使用时间维度的光流插值。处理后样本保留率提升至92%，模型F1分数从0.71提升至0.78。复盘发现，关键成功因素在于先分析缺失机制——文本缺失与年龄相关（MAR），语音缺失与设备型号相关（MCAR），从而选择了不同策略。

4.1.4 常见误区与总结

• 误区一：对所有缺失列统一使用均值填充。均值填充会降低方差，破坏特征分布，尤其对多模态融合中的高维特征影响显著。
• 误区二：忽略缺失指示信息。缺失本身可能携带语义（如用户拒绝填写），应创建is_missing指示特征。
• 误区三：在验证集上填充时使用全量数据统计量，导致数据泄露。正确做法是仅在训练集上计算填充参数。

经验法则：先做缺失机制诊断，再决定删除、填充还是标记。对于多模态数据，优先利用模态间的互补信息进行填充，比单模态内插值更有效。

4.2 异常值检测：从统计方法到多模态融合视角

4.2.1 核心原理：异常的定义与模态特性

异常值（Outlier）是偏离数据总体分布的观测点。在多模态场景中，异常可能表现为单模态异常（如音频中出现尖锐爆音）或跨模态不一致（如文本描述“晴朗”但图像显示暴雨）。检测方法分为三类：统计方法（Z-Score、IQR）、基于密度的方法（DBSCAN、LOF）、基于模型的方法（隔离森林、自编码器重构误差）。对于图像数据，像素级异常可通过重构误差检测；对于文本，TF-IDF向量空间的余弦相似度可发现语义离群点；对于时序数据，滑动窗口内的残差分析更有效。

4.2.2 判断方法与操作流程

推荐流程：单变量检测（箱线图、Z-Score）→ 多变量检测（PCA降维后可视化、马氏距离）→ 跨模态一致性检测（计算模态间相似度或互信息）→ 人工抽样验证。阈值选择需结合业务容忍度：在工业质检中，异常召回率优先；在社交数据分析中，误报率需严格控制。对于高维多模态特征，隔离森林比Z-Score更稳健，因为它不假设数据分布。

# 隔离森林检测多模态特征异常
from sklearn.ensemble import IsolationForest
import numpy as np

# X为拼接后的多模态特征矩阵 [n_samples, n_features]
clf = IsolationForest(contamination=0.05, random_state=42)
preds = clf.fit_predict(X)  # -1为异常，1为正常
# 结合重构误差（自编码器）进行二次确认
recon_error = np.mean((X - autoencoder.predict(X))**2, axis=1)
outlier_score = 0.7 * (preds == -1) + 0.3 * (recon_error > threshold)

4.2.3 案例拆解：自动驾驶多传感器异常检测

自动驾驶车辆融合激光雷达、摄像头和GPS数据。某次路测中，GPS信号在隧道内丢失，导致定位数据跳变，同时摄像头图像因逆光产生过曝区域。若仅对GPS单独检测，会将其标记为异常并删除，但实际是物理环境导致的暂时性缺失；若仅对图像检测，过曝区域会被误判为异常。正确做法是构建跨模态一致性评分：将GPS轨迹与视觉里程计（Visual Odometry）结果对比，计算相对位移误差。当误差超过阈值时，降低GPS权重而非直接删除。通过此方法，系统在隧道场景下的定位误差从2.3米降至0.8米。复盘经验：多模态异常检测的核心是“交叉验证”，单一模态的异常可能被其他模态解释。

4.2.4 常见误区与总结

• 误区一：直接删除所有异常值。异常可能包含重要信息（如欺诈交易、设备故障前兆），应先分析异常原因。
• 误区二：在多模态数据上使用单一模态的检测阈值。不同模态的数值范围差异大，需先标准化。
• 误区三：忽略时间序列中的上下文异常。一个点单独看正常，但在时间序列中可能是突变点（如心率骤降）。

4.3 重复数据消除：从精确匹配到语义去重

4.3.1 核心原理：重复的层次与模态差异

重复数据分为完全重复（所有字段相同）和近似重复（内容相似但存在细微差异）。在多模态场景中，近似重复更常见：同一新闻事件的多篇报道、同一物体的多张不同角度照片、同一句话的不同语音版本。精确去重可通过哈希（MD5、SHA-256）实现，但近似去重需计算相似度。对于图像，感知哈希（pHash）可生成64位指纹；对于文本，MinHash或SimHash可处理大规模近似重复；对于音频，频谱特征的余弦相似度有效。

4.3.2 判断方法与操作流程

工程流程：字段级精确匹配（去除完全重复）→ 模态内近似去重（图像pHash汉明距离小于阈值、文本Jaccard相似度大于0.8）→ 跨模态去重（如文本描述与图像内容匹配度）。去重阈值需通过人工标注验证集调优。对于大规模数据，使用局部敏感哈希（LSH）加速候选对生成，避免全量两两比较。

4.3.3 案例拆解：电商平台多模态商品去重

某电商平台商品库中，同一商品可能由不同商家上传，包含不同角度图片、不同标题文案和不同价格。初始去重仅基于商品ID，导致大量近似重复商品占据搜索排名。改进方案：首先使用pHash对主图去重，汉明距离小于8的图片视为同一商品；然后对标题使用SimHash，海明距离小于3的文本视为相似；最后结合价格差异（±5%以内）确认。通过三阶段去重，商品总量从120万降至98万，搜索点击率提升12%，且未出现误删（人工抽检500条，准确率99.2%）。风险控制：对于无法确认的商品，保留并标记“疑似重复”，由运营人工审核。

4.3.4 常见误区与总结

• 误区一：仅依赖单一模态去重。文本相同但图片不同（如不同型号的电子产品），或图片相同但文本不同（如不同促销活动），都应视为不同数据。
• 误区二：阈值设置过于严格或宽松。建议使用验证集绘制精确率-召回率曲线，选择F1最高的阈值。
• 误区三：忽略时间维度。同一商品在不同时间的价格变化不应视为重复，需在去重时排除时间敏感字段。

4.4 噪声过滤：从信号处理到语义噪声

4.4.1 核心原理：噪声的类型与来源

噪声是数据中无意义或干扰性的成分。在多模态数据中，噪声分为传感器噪声（图像高斯噪声、音频背景噪声）、传输噪声（网络丢包导致的脉冲噪声）、标注噪声（人工标注错误）和语义噪声（文本中的无关信息、图像中的遮挡物）。过滤方法需匹配噪声类型：高斯噪声用中值滤波或小波去噪；脉冲噪声用形态学滤波；标注噪声用众数投票或置信学习（Confident Learning）；语义噪声用注意力机制或规则过滤。

4.4.2 判断方法与操作流程

噪声过滤流程：噪声类型识别（通过频谱分析、残差统计）→ 滤波器选择（线性/非线性/自适应）→ 参数调优（窗口大小、阈值）→ 效果验证（信噪比提升、下游任务指标）。对于图像，峰值信噪比（PSNR）和结构相似性（SSIM）是常用指标；对于音频，信噪比（SNR）和主观听感测试；对于文本，困惑度（Perplexity）变化可反映语义噪声是否减少。

# 图像噪声过滤示例（OpenCV）
import cv2
import numpy as np

# 读取含噪声图像
img = cv2.imread('noisy_image.jpg')
# 中值滤波去除椒盐噪声
filtered = cv2.medianBlur(img, 5)
# 高斯滤波去除高斯噪声
gaussian = cv2.GaussianBlur(img, (5,5), 1.5)
# 计算PSNR
psnr = cv2.PSNR(img, filtered)
print(f'PSNR after median filter: {psnr:.2f} dB')

4.4.3 案例拆解：语音识别中的噪声过滤

某智能音箱的语音识别系统在嘈杂环境下准确率下降严重。初始方案使用谱减法降噪，但导致语音失真，识别准确率仅提升2%。改进方案：采用深度降噪自编码器（DAE），输入带噪语音的梅尔频谱，输出干净频谱。训练数据使用人工混合的噪声（咖啡馆、交通、厨房等8种场景），信噪比从-5dB到15dB。经过DAE处理后，识别准确率从68%提升至84%。进一步分析发现，对于非平稳噪声（如突然的关门声），DAE效果有限，因此增加VAD（语音活动检测）模块，仅在语音段进行降噪，避免过度处理静音段。复盘经验：噪声过滤需结合前端信号处理和后端模型，单一方法难以应对所有噪声类型。

4.4.4 常见误区与总结

• 误区一：过度过滤导致信息丢失。例如图像去噪过度会使边缘模糊，影响目标检测。
• 误区二：对所有模态使用相同的滤波参数。图像和音频的噪声特性不同，需分别调优。
• 误区三：忽略噪声的语义相关性。在文本中，某些看似“噪声”的词汇（如口语中的“嗯”“啊”）可能包含情感信息，不应简单删除。

4.5 数据质量评估：建立量化指标体系

4.5.1 核心原理：质量维度与评估框架

数据质量评估需从多个维度展开：完整性（缺失率、空值率）、一致性（跨模态冲突、格式统一性）、准确性（与真实值偏差、标注正确率）、时效性（数据新鲜度、时间戳有效性）、唯一性（重复率）。评估框架应包含技术指标（可自动计算）和业务指标（需人工判断）。建议建立数据质量评分卡，对每个维度打分（0-100），并设置最低通过线。

4.5.2 判断方法与操作流程

评估流程：定义质量规则（如“图像分辨率不低于640x480”“文本长度不少于10个字符”）→ 自动化扫描（生成质量报告）→ 人工抽检（验证自动检测的准确性）→ 持续监控（设置告警阈值）。质量评分公式可设计为加权平均：Q = w1*完整性 + w2*一致性 + w3*准确性 + w4*时效性 + w5*唯一性，权重根据业务需求调整。

4.5.3 案例拆解：多模态医疗数据质量评估体系

某医院构建多模态患者数据库（影像、病历文本、生命体征时序）。初始阶段无质量评估，导致模型训练时发现大量问题：30%的影像缺少DICOM头文件信息，15%的病历文本存在编码错误，20%的生命体征数据时间戳不连续。建立评估体系后，设定五维评分：完整性（影像字段缺失率）、一致性（影像与报告结论是否匹配）、准确性（抽检100份病历与原始记录对比）、时效性（数据入库延迟）、唯一性（重复检查记录）。每月自动生成质量报告，并设置红黄绿灯预警。实施三个月后，整体质量评分从62分提升至88分，模型训练效率提升40%。复盘经验：质量评估的关键在于“可量化、可追踪、可改进”，每个维度需明确责任人和改进措施。

4.5.4 常见误区与总结

• 误区一：只关注单一维度（如仅看缺失率），忽略跨模态一致性。
• 误区二：质量评估与业务目标脱节。例如，对于实时推荐系统，时效性权重应高于完整性。
• 误区三：评估一次后不再更新。数据分布会随时间漂移，质量规则需定期调整。

总结：数据清洗是一个系统工程，缺失值处理、异常值检测、重复消除和噪声过滤四者相互关联。例如，异常值检测可能发现缺失值填充不当导致的伪异常；重复消除可能暴露不同批次数据的质量差异。建议建立统一的清洗流水线，将各步骤串联，并记录每一步的操作日志，确保可追溯性。最终的数据质量评估应作为清洗效果的验收标准，形成闭环管理。