4、数据清洗基础：缺失值处理、异常值检测、重复去重与噪声过滤

数据清洗是数据预处理中最耗时、最关键的环节。原始数据通常包含缺失值、异常值、重复记录和噪声，这些问题会直接导致模型训练偏差、过拟合或泛化能力下降。本章系统讲解四大清洗任务的核心方法与适用场景。

4.1 缺失值处理

缺失值指数据集中某个或某些字段为空（NaN、Null、None）。处理策略分为三类：删除、填充和插值。

4.1.1 缺失值处理策略对比

4.1.2 填充与插值代码示例

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({
    'A': [1, 2, np.nan, 4, 5],
    'B': [10, np.nan, 30, 40, np.nan],
    'C': [100, 200, 300, np.nan, 500]
})

# 均值填充
df['A'].fillna(df['A'].mean(), inplace=True)

# 前向填充（时间序列常用）
df['B'].fillna(method='ffill', inplace=True)

# 线性插值
df['C'].interpolate(method='linear', inplace=True)

print(df)

4.2 异常值检测与处理

异常值（Outlier）是显著偏离数据整体分布的观测值。异常值可能由测量误差、数据录入错误或真实稀有事件引起，需根据业务场景决定是否处理。

4.2.1 常用检测方法

• Z-Score 方法：假设数据服从正态分布，Z-Score > 3 或 < -3 视为异常。
• IQR 四分位距法：低于 Q1 - 1.5×IQR 或高于 Q3 + 1.5×IQR 视为异常。
• 孤立森林（Isolation Forest）：基于树模型，适合高维数据。
• DBSCAN 聚类：基于密度，无法归入任何簇的点视为异常。

4.2.2 异常值处理策略

4.3 重复数据去重

重复数据指完全一致或关键字段一致的多条记录。重复数据会导致模型对相同样本过度学习，造成过拟合和评估指标虚高。

4.3.1 去重策略

• 完全去重：所有字段完全一致，直接删除保留一条。
• 部分去重：指定关键字段（如用户ID+时间戳）去重，保留最新或最完整记录。
• 模糊去重：使用编辑距离、Jaccard相似度等算法，合并相似记录。

# 完全去重
df.drop_duplicates(inplace=True)

# 部分去重：基于 'user_id' 和 'date' 去重，保留最后一条
df.drop_duplicates(subset=['user_id', 'date'], keep='last', inplace=True)

# 模糊去重示例（使用 recordlinkage 库）
import recordlinkage
indexer = recordlinkage.Index()
indexer.block('city')  # 按城市分块
pairs = indexer.index(df)

4.4 噪声数据过滤

噪声数据指数据中随机错误或方差较大的波动，常见于传感器采集、文本OCR识别、网络爬虫等场景。噪声与异常值的区别在于：噪声是随机、无规律的微小扰动，而异常值是显著偏离的极端点。

4.4.1 常见噪声类型与过滤方法

4.4.2 信号滤波代码示例

import numpy as np
from scipy.signal import medfilt

# 模拟含脉冲噪声的信号
signal = np.array([1.0, 1.1, 5.0, 1.0, 1.05, 1.2, 8.0, 1.1])

# 中值滤波（窗口大小=3）
filtered = medfilt(signal, kernel_size=3)
print("原始信号:", signal)
print("滤波后:", filtered)

4.5 数据清洗流程总览

下图展示了从原始数据到干净数据的完整清洗流程，包含本章涉及的四大核心任务及其执行顺序。