3、数据预处理：缺失值处理与异常值检测

在催收特征工程中，原始数据通常包含大量缺失值和异常值。这些“脏数据”会严重干扰特征重要性的评估结果，导致模型偏向或失效。本节将系统讲解缺失值的三种填充策略与异常值的检测处理方法，确保进入模型的特征矩阵干净、稳定。

3.1 缺失值处理

催收数据中常见的缺失场景包括：客户未填写收入信息、催收员未录入通话时长、外部征信接口返回空值等。根据缺失机制（MCAR/MAR/MNAR）和数据分布特征，选择不同的填充方法。

3.1.1 均值/中位数/众数填充（统计填充）

这是最基础、计算开销最小的填充方式，适用于数值型特征（均值/中位数）和分类型特征（众数）。

3.1.2 模型预测填充（高级填充）

利用其他完整特征作为输入，训练模型预测缺失值。这种方法能更好地保留特征间的关联结构，但计算成本较高。

常用模型选择：

• 线性回归/岭回归：适用于连续数值型缺失，特征间线性关系较强时使用。
• KNN填充：基于相似样本的加权平均，适合非线性关系，但需注意K值选择和距离度量。
• 随机森林/梯度提升树：对缺失值鲁棒，能自动捕捉交互效应，是催收数据中最推荐的预测填充模型。
• MICE（链式方程多重插补）：迭代填充，生成多个完整数据集，适合后续需要不确定性评估的场景。

# Python示例：使用随机森林进行缺失值预测填充
from sklearn.ensemble import RandomForestRegressor
import pandas as pd
import numpy as np

def rf_impute(df, target_col, feature_cols):
    """
    使用随机森林预测填充缺失值
    :param df: 包含缺失值的数据框
    :param target_col: 需要填充的目标列名
    :param feature_cols: 用于预测的特征列名列表
    :return: 填充后的数据框
    """
    # 分离有缺失和无缺失样本
    missing_mask = df[target_col].isnull()
    train_df = df[~missing_mask]
    test_df = df[missing_mask]

    # 确保训练集和测试集特征完整
    X_train = train_df[feature_cols].values
    y_train = train_df[target_col].values
    X_test = test_df[feature_cols].values

    # 训练模型
    rf = RandomForestRegressor(n_estimators=100, max_depth=10, random_state=42)
    rf.fit(X_train, y_train)

    # 预测并填充
    predicted_values = rf.predict(X_test)
    df.loc[missing_mask, target_col] = predicted_values

    return df

3.2 异常值检测与处理

催收数据中的异常值可能来自：录入错误（如年龄200岁）、系统故障（通话时长-1秒）、或真实极端行为（单日催收通话100次）。异常值会扭曲特征分布，影响重要性排序的稳定性。

3.2.1 异常值检测方法

3.2.2 异常值处理策略

检测到异常值后，根据业务含义和数据量选择处理方式：

• 删除（截尾）：当异常值比例低于5%且确认是录入错误时，直接删除该样本或将该特征值设为NaN后填充。
• 截断（Winsorize）：将异常值替换为阈值边界值（如：将超过99%分位数的值替换为99%分位数）。适用于欠款金额等真实但极端的数值。
• 分箱离散化：将连续特征转换为有序分类特征，天然消除极端值影响。如将“通话时长”分为[0-5min, 5-15min, 15-30min, >30min]。
• 单独编码：对异常值单独标记为一个新类别（如“异常高”），保留其信息但不干扰主分布。

3.3 预处理后的验证与评估

完成缺失值填充和异常值处理后，必须验证预处理效果，避免引入新的偏差：

• 分布对比：绘制填充前后特征的直方图或箱线图，确保填充后的分布形态与原始完整数据一致。
• 相关性检查：计算填充后特征与其他特征的相关性，若相关系数变化超过0.2，说明填充方法可能破坏了原有关系。
• 模型稳定性测试：在填充后的数据上训练轻量模型（如逻辑回归），对比不同填充策略下的特征重要性排序是否稳定。