数据预处理基础：缺失值处理、异常值检测与处理、数据标准化与归一化、数据离散化

数据预处理是特征筛选前的关键步骤，直接影响后续模型训练的质量。原始数据通常包含缺失值、异常值，且各特征量纲不一致，若不处理会导致模型偏差或收敛困难。本节系统梳理四大预处理环节的核心方法与避坑要点。

2.1 缺失值处理

缺失值处理需根据缺失机制和数据特性选择策略，常见方法如下：

# 使用 pandas 进行缺失值处理示例
import pandas as pd
import numpy as np

# 创建示例数据
df = pd.DataFrame({
    'age': [25, np.nan, 30, 35, np.nan, 28],
    'income': [50000, 60000, np.nan, 70000, 65000, 72000],
    'gender': ['M', 'F', 'F', np.nan, 'M', 'F']
})

# 查看缺失比例
print(df.isnull().mean())

# 数值型：中位数填充
df['age'] = df['age'].fillna(df['age'].median())
df['income'] = df['income'].fillna(df['income'].median())

# 分类型：众数填充
df['gender'] = df['gender'].fillna(df['gender'].mode()[0])

2.2 异常值检测与处理

异常值会扭曲统计量、影响模型拟合。常用检测方法包括统计法、距离法和模型法。

常用检测方法对比

# IQR 方法检测异常值
def detect_outliers_iqr(data, column):
    Q1 = data[column].quantile(0.25)
    Q3 = data[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = data[(data[column] < lower_bound) | (data[column] > upper_bound)]
    return outliers

# 示例
outliers_df = detect_outliers_iqr(df, 'income')
print(f"检测到 {len(outliers_df)} 个异常值")

2.3 数据标准化与归一化

标准化和归一化解决特征量纲不一致问题，避免大数值特征主导模型训练。两者适用场景不同，需根据模型类型选择。

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 训练集拟合，转换训练集和测试集
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)  # 使用训练集的参数

# Min-Max 归一化
minmax_scaler = MinMaxScaler()
X_train_norm = minmax_scaler.fit_transform(X_train)
X_test_norm = minmax_scaler.transform(X_test)

2.4 数据离散化

离散化将连续特征转换为分类特征，可增强模型鲁棒性、降低过拟合风险，尤其适用于线性模型和决策树。

离散化方法对比

# 等频分箱示例
import pandas as pd

data = pd.Series([12, 15, 23, 24, 30, 35, 40, 45, 50, 60])
# 等频分箱为 3 箱
bins = pd.qcut(data, q=3, labels=['低', '中', '高'])
print(bins)

2.5 预处理流程总览

下图展示数据预处理的标准流程及各环节的衔接关系：