3. 缺失值处理策略：金融数据缺失机制与压力测试适用性对比

在金融压力测试场景中，数据缺失是常态而非例外。由于市场冲击、系统迁移、数据报送延迟或监管口径变更，关键风险因子（如违约概率PD、违约损失率LGD、风险暴露EAD）常出现不同程度的缺失。错误的缺失值处理会直接扭曲压力测试的尾部风险估计，导致资本缓冲不足或过度计提。本节从缺失机制出发，系统对比前向填充、线性插值、KNN插补与多重插补（MICE）在压力测试下的适用边界。

3.1 金融数据缺失机制：MCAR / MAR / MNAR

缺失机制决定了插补方法的选择前提。根据Little & Rubin分类，缺失数据分为三类：

3.2 四种缺失值处理策略的原理与实现

3.2.1 前向填充（Forward Fill）

将最近一个非缺失值向后填充至后续缺失位置。适用于时间序列中缺失间隔短、变量变化缓慢的场景。

# 前向填充示例（Pandas）
import pandas as pd
df['PD_ffill'] = df['PD'].fillna(method='ffill')

3.2.2 线性插值（Linear Interpolation）

利用缺失值前后两个已知观测点，按时间或索引比例线性估计中间值。适用于趋势平稳的连续变量。

# 线性插值示例
df['LGD_interp'] = df['LGD'].interpolate(method='linear')

3.2.3 KNN插补（K-Nearest Neighbors Imputation）

基于特征空间距离，找到与缺失样本最相似的K个完整样本，用其均值或中位数填充。适用于变量间存在非线性相关关系的场景。

# KNN插补示例（sklearn）
from sklearn.impute import KNNImputer
imputer = KNNImputer(n_neighbors=5, weights='distance')
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)

3.2.4 多重插补（MICE）

通过链式方程生成多个完整数据集，在每个数据集中分别建模，最后合并估计结果。MICE能保留缺失值的不确定性，是压力测试场景下的黄金标准。

# MICE示例（使用fancyimpute或statsmodels）
# 注：实际生产环境建议使用miceforest或sklearn的IterativeImputer
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
mice_imputer = IterativeImputer(max_iter=10, random_state=42)
df_mice = pd.DataFrame(mice_imputer.fit_transform(df), columns=df.columns)

3.3 压力测试场景下的适用性对比

压力测试对缺失值处理有特殊要求：尾部保真性（不抹平极端值）、时序一致性（不破坏自相关结构）、不确定性量化（能输出置信区间）。下表从五个关键维度进行对比：

3.4 缺失机制与插补方法的选择流程

下图展示了在压力测试项目中，如何根据缺失机制和缺失率选择最优插补策略：

3.5 压力测试场景下的MICE实战要点

MICE 在压力测试中的实现需要特别注意以下三点：

1. 插补模型应与压力模型一致： 如果压力测试使用逻辑回归预测违约，MICE 中的条件模型也应使用逻辑回归，避免模型错配导致插补偏差。
2. 压力情景变量必须参与插补： 宏观经济冲击变量（GDP增速、失业率、利率）应作为预测变量加入MICE方程，否则插补值无法反映压力情景下的条件分布。
3. 插补次数 m 的选取： 压力测试建议 m ≥ 20（常规建模 m=5 即可），因为尾部估计的方差更大，需要更多插补数据集来稳定标准误。

3.6 不同缺失机制下的插补效果对比

以下 SVG 图直观展示了在 MCAR、MAR、MNAR 三种机制下，四种插补方法对压力测试损失分布尾部估计的影响：

3.7 压力测试缺失值处理避坑清单

• ❌ 不要对时间序列压力因子使用KNN插补： KNN忽略时间依赖，会破坏自相关结构，导致压力情景下的序列相关性被低估。
• ❌ 不要对尾部极端值使用线性插值： 线性插值假设局部线性，在压力冲击导致的跳跃式变化中会严重平滑尾部。
• ✅ 务必在插补前进行缺失机制诊断： 使用Little's MCAR检验或逻辑回归判断缺失是否与观测变量相关。
• ✅ 务必保留插补后的不确定性： 压力测试报告应同时汇报插补前的完整数据分析和插补后的合并结果。
• ✅ 务必进行插补敏感性分析： 对比不同插补方法下的压力损失分布，评估缺失值处理对资本充足率的影响幅度。