数据预处理基础：缺失值处理、异常值检测、数据标准化与归一化

在可解释性建模中，数据预处理是决定模型质量与稳定性的基石。原始数据通常包含缺失值、异常值以及量纲不一致的问题，若不经处理直接建模，会导致模型偏倚、过拟合或解释性失真。本节系统梳理三大预处理任务的核心方法与适用场景。

1. 缺失值处理

缺失值产生的原因包括设备故障、用户未填写、数据合并错位等。处理策略分为删除、填充与模型预测三类，选择依据为缺失比例、缺失机制（MCAR/MAR/MNAR）及业务含义。

2. 异常值检测

异常值指显著偏离正常分布的数据点，可能由录入错误、设备故障或真实极端事件引起。检测方法需结合数据分布与业务阈值。

常用检测方法对比

3. 数据标准化与归一化

不同量纲的变量会主导距离计算与梯度更新，标准化与归一化是消除量纲影响的两种核心手段。选择依据为数据分布与后续模型要求。

4. 预处理流程架构

下图展示数据预处理的标准流程，从原始数据到可用于建模的干净数据集，各步骤之间可能存在反馈循环。

5. 代码示例：Python 实现

以下代码展示使用 scikit-learn 完成标准化与缺失值填充的典型操作，适用于后续分箱与建模。

import pandas as pd
import numpy as np
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 示例数据
data = pd.DataFrame({
    'age': [25, 30, np.nan, 35, 40, 28],
    'income': [50000, 60000, 55000, np.nan, 80000, 48000],
    'score': [0.8, 0.6, 0.9, 0.7, np.nan, 0.85]
})

print("原始数据：\n", data)

# 1. 缺失值填充：中位数填充
imputer = SimpleImputer(strategy='median')
data_filled = pd.DataFrame(imputer.fit_transform(data), columns=data.columns)
print("\n填充后数据：\n", data_filled)

# 2. 标准化：Z-Score
scaler = StandardScaler()
data_scaled = pd.DataFrame(scaler.fit_transform(data_filled), columns=data.columns)
print("\n标准化后数据（均值0，标准差1）：\n", data_scaled.round(3))

# 3. 归一化：Min-Max
minmax = MinMaxScaler()
data_normalized = pd.DataFrame(minmax.fit_transform(data_filled), columns=data.columns)
print("\n归一化后数据（范围[0,1]）：\n", data_normalized.round(3))

6. 预处理策略选择矩阵

下表帮助根据数据特征与建模目标快速选择预处理组合。