📚 课程目录第3章特征筛选的重要性

3. 特征筛选的重要性：维度灾难、过拟合、模型可解释性在压力测试中的挑战

在压力测试建模中，特征筛选并非可有可无的预处理步骤，而是决定模型能否在极端市场条件下保持稳健的核心环节。若不进行有效的特征筛选，模型将面临三大相互关联的挑战：维度灾难、过拟合与模型可解释性丧失。这三者共同构成了压力测试建模的“不可能三角”，而特征筛选正是打破这一困境的关键工具。

  核心观点： 特征筛选不是简单的“变量剔除”，而是在预测能力、模型复杂度与业务可解释性之间寻找最优平衡点的系统工程。

3.1 维度灾难：高维空间中的稀疏性与距离失效

当风险暴露特征数量（维度）远超过样本量时，数据空间变得极度稀疏，导致传统统计和机器学习方法失效。这种现象在压力测试中尤为突出，因为极端事件的历史样本往往非常有限。

压力测试中的典型场景： 某银行对500个风险暴露特征进行压力测试，但可用的历史极端损失数据仅有200个样本点。此时特征数量是样本量的2.5倍，模型参数估计的方差将急剧膨胀。

维度灾难在压力测试中具体表现为以下三个层面：

维度灾难表现	数学/统计本质	对压力测试的影响
空间稀疏性	高维空间中，数据点之间的距离趋于相等，样本点几乎全部位于空间的“边缘”	无法有效区分正常状态与极端状态下的风险暴露模式
距离度量失效	欧氏距离在高维空间中失去区分度，所有点对之间的距离趋于常数	基于距离的异常检测、聚类分析在压力情景识别中失效
参数估计不稳定	协方差矩阵的估计需要 O(p²) 个参数，当 p > n 时矩阵奇异	风险因子之间的相关性结构无法可靠估计，压力传导路径失真

3.2 过拟合：模型记住噪声而非信号

过拟合是指模型在训练数据上表现优异，但在测试数据或新数据上表现急剧下降。在压力测试中，过拟合的后果尤为严重——模型可能将历史偶然事件误判为系统性规律，导致压力损失估计严重偏离真实风险。

特征数量与过拟合风险之间存在明确的数学关系：

# 过拟合风险与特征数量的关系（理论示意）
# 假设：样本量 n = 200，特征数量 p 从 5 增加到 100

import numpy as np

def overfitting_risk(p, n=200, noise_level=0.3):
    """
    模拟过拟合风险指标：训练集 R² 与测试集 R² 的差距
    p: 特征数量
    n: 样本量
    noise_level: 噪声水平
    """
    # 模拟数据
    X = np.random.randn(n, p)
    true_beta = np.zeros(p)
    true_beta[:5] = [0.5, -0.3, 0.8, -0.2, 0.6]  # 只有前5个特征有效
    y = X @ true_beta + noise_level * np.random.randn(n)
    
    # 训练集和测试集划分
    train_size = int(n * 0.7)
    X_train, X_test = X[:train_size], X[train_size:]
    y_train, y_test = y[:train_size], y[train_size:]
    
    # 使用线性回归（无正则化）
    from sklearn.linear_model import LinearRegression
    model = LinearRegression()
    model.fit(X_train, y_train)
    
    train_r2 = model.score(X_train, y_train)
    test_r2 = model.score(X_test, y_test)
    
    return train_r2 - test_r2  # 差距越大，过拟合越严重

# 结果：p=5 时差距约 0.05；p=50 时差距约 0.35；p=100 时差距约 0.60

压力测试中的过拟合陷阱： 2008年金融危机前，许多银行的压力测试模型包含了数百个宏观经济变量。事后分析表明，这些模型在历史回测中表现良好，但在预测2008年的极端损失时完全失效——模型过度拟合了“大缓和”时期的低波动特征，未能捕捉到尾部风险。

过拟合在压力测试中的三个典型表现：

虚假相关性： 高维特征空间中，随机噪声之间也可能出现统计显著的相关性，模型将这些噪声关系误认为风险传导机制。
极端值过度拟合： 压力测试数据中极端值占比高，模型可能专门“记住”少数极端事件，而非学习潜在的风险分布。
时间序列依赖性： 金融时间序列存在自相关和趋势，过拟合模型可能将时间趋势误判为特征与风险之间的因果关系。

3.3 模型可解释性：监管合规与业务决策的基石

在压力测试中，模型可解释性不仅是技术需求，更是监管强制要求。巴塞尔协议III和国内《商业银行压力测试指引》均明确要求：压力测试模型必须能够清晰解释风险传导路径，且模型输出结果应能被业务部门理解和验证。

可解释性维度	监管要求	特征筛选的贡献
全局可解释性	模型整体逻辑清晰，风险因子与损失之间的映射关系可理解	剔除冗余特征后，保留的核心特征构成简洁的风险因子体系
局部可解释性	对单个压力情景下的预测结果可追溯归因	特征数量减少后，可逐一分析每个特征对预测结果的边际贡献
业务可验证性	模型输出应与业务专家的经验判断一致	筛选后的特征通常具有明确的业务含义，便于专家进行合理性审查
监管可审计性	模型开发过程可复现、可审计	特征筛选的每一步（相关性分析、重要性排序、稳定性检验）均可记录和追溯

3.4 三大挑战的协同效应与特征筛选的应对策略

维度灾难、过拟合和可解释性丧失并非独立存在，而是相互强化、形成恶性循环：

维度灾难 → 过拟合： 高维空间中的稀疏性使得模型更容易找到虚假模式，加剧过拟合。
过拟合 → 可解释性丧失： 过拟合模型通常包含大量噪声特征，其决策边界复杂且不稳定，无法给出清晰的归因解释。
可解释性丧失 → 维度灾难： 当模型不可解释时，业务部门倾向于添加更多“可能有用”的特征来弥补理解上的不足，进一步推高维度。

  特征筛选的应对策略：
  过滤法（Filter）： 基于统计指标（IV、方差、相关系数）快速剔除无效特征，适用于大规模特征初筛。
包裹法（Wrapper）： 使用递归特征消除（RFE）或前向/后向选择，以模型性能为评价标准，适用于特征数量适中时。
嵌入法（Embedded）： 利用Lasso（L1正则化）、随机森林特征重要性等，在模型训练过程中自动完成特征选择。
业务驱动法： 结合专家经验，优先保留具有明确经济含义和监管认可的风险暴露特征。

在实际压力测试项目中，通常采用“分层筛选”策略：先用过滤法快速将特征从数百个压缩到50个以内，再用包裹法或嵌入法进一步精选到10-20个核心特征，最后通过业务专家评审确认筛选结果的合理性。这种策略既能控制计算成本，又能保证筛选结果的可解释性和业务可接受度。