4. 数据清洗与预处理：缺失值处理与异常值检测

在精算建模中，原始数据几乎不可能完美无缺。缺失值会破坏模型训练的连续性，异常值则会扭曲统计分布与参数估计。本章聚焦于两类核心预处理操作：缺失值填充与异常值检测，并给出精算场景下的实战选型建议。

4.1 缺失值处理

缺失值处理的目标是在不引入系统性偏差的前提下，为后续特征工程与模型训练提供完整的输入矩阵。根据数据缺失机制（MCAR、MAR、MNAR），选择不同的填充策略。

4.1.1 统计量填充（均值/中位数/众数）

这是最基础、计算开销最小的填充方法，适用于低缺失率（<5%）且数据分布相对稳定的场景。

4.1.2 模型预测填充

当缺失率较高（>10%）或变量之间存在强相关性时，统计量填充会严重低估方差、破坏变量间关系。此时应使用模型预测填充，将待填充变量作为目标变量，利用其他完整变量建立预测模型。

常用模型包括：

• 线性回归 / 逻辑回归：适用于线性关系明确的场景，可解释性强。
• 随机森林 / XGBoost：能捕捉非线性关系与交互效应，精算中最为常用。
• KNN 填充：基于相似样本的加权平均，适合局部结构明显的变量。
• MICE（链式方程多重插补）：通过迭代生成多个填充版本，保留不确定性。

# Python 示例：使用随机森林预测填充缺失值
from sklearn.ensemble import RandomForestRegressor
import pandas as pd
import numpy as np

def rf_impute(df, target_col, feature_cols):
    """
    使用随机森林对目标列进行预测填充
    """
    # 划分缺失与非缺失样本
    missing_idx = df[df[target_col].isna()].index
    observed_idx = df[df[target_col].notna()].index

    # 训练集：非缺失样本
    X_train = df.loc[observed_idx, feature_cols]
    y_train = df.loc[observed_idx, target_col]

    # 预测集：缺失样本
    X_pred = df.loc[missing_idx, feature_cols]

    # 训练模型
    model = RandomForestRegressor(n_estimators=100, max_depth=5, random_state=42)
    model.fit(X_train, y_train)

    # 预测并填充
    df.loc[missing_idx, target_col] = model.predict(X_pred)
    return df

4.2 异常值检测

异常值在精算数据中普遍存在：巨额理赔、极端医疗费用、录入错误等。异常值检测的目标是识别而非自动删除，需结合业务判断决定处理方式（截断、分箱、单独建模）。

4.2.1 基于统计的方法：IQR 与 Z-score

4.2.2 基于机器学习的方法：Isolation Forest

Isolation Forest（孤立森林）是一种高效的异常检测算法，不依赖分布假设，通过随机划分特征空间来隔离异常点。异常点更容易被“孤立”（路径长度更短），因此得分更高。

核心优势：

• 线性时间复杂度，适合高维数据
• 不需要定义正常样本的分布
• 对局部异常点敏感

# Python 示例：使用 Isolation Forest 检测异常值
from sklearn.ensemble import IsolationForest
import pandas as pd

def detect_outliers_iforest(df, feature_cols, contamination=0.05):
    """
    使用 Isolation Forest 检测异常值
    contamination: 预期异常比例，默认 5%
    """
    model = IsolationForest(
        n_estimators=100,
        max_samples='auto',
        contamination=contamination,
        random_state=42
    )

    # 返回 -1 为异常，1 为正常
    df['anomaly_score'] = model.fit_predict(df[feature_cols])
    df['is_outlier'] = df['anomaly_score'] == -1

    return df

4.3 实战流程总结

在精算模型坏样本归因项目中，数据清洗与预处理的推荐执行顺序如下：

1. 缺失率评估：计算每个特征的缺失比例，区分低缺失率（<5%）、中缺失率（5%-15%）、高缺失率（>15%）。
2. 缺失值填充：低缺失率使用中位数/众数填充；中高缺失率使用随机森林预测填充，并保留填充标记。
3. 异常值检测：对连续变量使用 IQR 方法标记极端值；对多变量组合使用 Isolation Forest 检测联合异常。
4. 业务确认：将检测到的异常值列表提交业务团队确认，区分“真实极端风险”与“数据录入错误”。
5. 处理决策：真实极端值保留或截断；录入错误值修正或删除；无法确认的异常值单独分箱处理。