4. 数据清洗基础：缺失值与异常值处理

数据清洗是风控建模中最耗时但回报最高的环节。原始数据通常包含大量缺失值、异常值和噪声，直接建模会导致模型偏差、方差膨胀甚至完全失效。本章聚焦两类核心问题：缺失值与异常值，系统讲解其识别方法与处理策略。

4.1 缺失值处理

缺失值在风控数据中普遍存在，原因包括用户未填写、系统采集失败、数据源不完整等。处理前需先区分缺失机制：

4.1.1 删除法

删除法是最简单的处理方式，但需谨慎使用：

• 行删除（listwise deletion）：删除含任意缺失值的样本。适用于缺失率低（<5%）且 MCAR 场景。
• 列删除：删除缺失率超过阈值（如 70%）的特征。适用于信息量极低的字段。
• 成对删除（pairwise deletion）：在计算相关系数或协方差时仅使用有效观测对。适用于相关性分析阶段。

4.1.2 填充法

填充法保留样本量，但会引入人为偏差。常用填充策略如下：

4.1.3 模型预测填充

模型预测填充将缺失值作为目标变量，利用其他完整特征构建预测模型。核心步骤：

1. 将数据分为：完整样本（无缺失）和缺失样本（目标变量缺失）。
2. 在完整样本上训练回归/分类模型（如线性回归、随机森林、XGBoost）。
3. 用训练好的模型预测缺失样本的目标值。
4. 将预测值填入缺失位置。

# Python 示例：使用随机森林填充缺失值
from sklearn.ensemble import RandomForestRegressor
import pandas as pd
import numpy as np

def rf_impute(df, target_col, feature_cols):
    """
    随机森林填充缺失值
    :param df: 包含缺失值的数据框
    :param target_col: 需要填充的目标列
    :param feature_cols: 用于预测的特征列
    """
    # 分离完整样本和缺失样本
    complete = df[df[target_col].notna()]
    missing = df[df[target_col].isna()]

    # 训练模型
    rf = RandomForestRegressor(n_estimators=100, random_state=42)
    rf.fit(complete[feature_cols], complete[target_col])

    # 预测并填充
    df.loc[df[target_col].isna(), target_col] = rf.predict(missing[feature_cols])
    return df

4.2 异常值处理

异常值是指明显偏离数据分布的观测值。在风控中，异常值可能代表欺诈行为、数据录入错误或极端信用风险。处理前需先识别异常值：

• Z-Score 法：|Z| > 3 视为异常（正态分布假设）。
• IQR 法：低于 Q1 - 1.5×IQR 或高于 Q3 + 1.5×IQR 视为异常。
• 业务规则法：如年龄 > 120 岁、月收入 > 1 亿等。

4.2.1 截尾法（Truncation）

截尾法直接删除异常值所在的样本。适用于异常值比例极低（<1%）且确认是数据错误的情况。

# IQR 法截尾示例
Q1 = df['income'].quantile(0.25)
Q3 = df['income'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 删除异常样本
df_clean = df[(df['income'] >= lower_bound) & (df['income'] <= upper_bound)]

4.2.2 盖帽法（Winsorization）

盖帽法将异常值替换为边界值，而非直接删除。保留样本量，同时限制极端值的影响。

# 百分位盖帽法示例
def winsorize_series(s, lower=0.01, upper=0.99):
    """
    对序列进行百分位盖帽
    """
    low = s.quantile(lower)
    high = s.quantile(upper)
    return s.clip(lower=low, upper=high)

df['income_winsorized'] = winsorize_series(df['income'])

4.2.3 分箱法（Binning）

分箱法将连续变量离散化为类别，天然消除极端值的影响。在风控中常用于构建评分卡模型。

• 等距分箱：按值域等间距划分。简单但可能造成箱内样本不均。
• 等频分箱：每箱包含相同数量的样本。适用于分布偏态的数据。
• 最优分箱：基于目标变量（如逾期标签）的分布进行分箱，最大化 IV 值或最小化卡方值。

4.3 处理策略对比与选择

实际风控项目中，缺失值和异常值往往同时存在。以下对比表帮助选择最优策略：

4.4 实战建议与避坑指南

• 缺失值作为新特征：在风控中，“是否缺失”本身可能是一个强预测变量。例如，用户不填写工作单位可能暗示其职业不稳定。建议创建 is_missing 二值特征。
• 异常值分层处理：不同客群的异常值阈值不同。例如，高净值用户的消费金额上限应远高于普通用户。建议按客群分层进行盖帽或分箱。
• 时间序列数据注意：对于时序特征（如近 3 个月收入），缺失值填充应使用前向填充而非全局均值，避免引入未来信息。
• 验证集独立处理：所有填充参数（均值、分位点、模型参数）必须从训练集计算，并直接应用于验证集和测试集。