4、特征工程稳定性：特征分布漂移检测（PSI）、特征重要性变化监控、特征相关性矩阵巡检
在信用额度定价模型中，特征工程是模型表现的核心驱动力。即使模型在训练集上表现优异，一旦上线后特征分布、重要性或相关性发生显著变化，模型预测能力将迅速衰减，导致定价偏差与信用风险失控。本章聚焦三大巡检维度：群体稳定性指标（PSI）、特征重要性变化监控与特征相关性矩阵巡检，帮助风控团队建立特征层面的稳定性预警体系。
4.1 特征分布漂移检测（PSI）
PSI 是衡量特征分布随时间变化程度的量化指标，常用于监控模型输入特征在训练集与近期样本之间的偏移。PSI 值越高，说明特征分布变化越大，模型失效风险越高。
PSI 计算步骤
- 分箱：将训练集特征按等频或等距方式分为 K 个区间（通常 K=10）。
- 计算实际占比：统计近期样本在每个区间的占比 \(A_i\)。
- 计算预期占比：统计训练集样本在每个区间的占比 \(E_i\)。
- 计算 PSI：\(\text{PSI} = \sum_{i=1}^{K} (A_i - E_i) \times \ln\left(\frac{A_i}{E_i}\right)\)。
PSI 阈值与行动建议
| PSI 范围 | 漂移程度 | 建议行动 |
|---|---|---|
| PSI < 0.1 | 无显著漂移 | 持续监控，无需干预 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 深入排查特征变化原因，评估是否需要特征调整 |
| PSI ≥ 0.25 | 严重漂移 | 立即触发模型重训或特征替换，暂停使用该特征 |
巡检要点：PSI 对分箱数量敏感，建议固定分箱策略（如等频 10 箱），并在每次巡检中保持分箱边界一致，避免因分箱变化导致误报。
4.2 特征重要性变化监控
特征重要性反映每个特征对模型预测的贡献程度。当特征重要性发生显著变化时，可能意味着数据分布改变、特征失效或模型过拟合。常用监控方法包括：
- 排列重要性（Permutation Importance）：通过随机打乱特征值观察模型性能下降程度，下降越大则特征越重要。
- SHAP 值变化：监控每个特征的平均绝对 SHAP 值在时间窗口内的波动。
- 重要性排名漂移：比较训练集与近期样本的特征重要性排名，计算排名变化幅度。
特征重要性变化监控指标
| 监控指标 | 计算方式 | 预警阈值 |
|---|---|---|
| 重要性排名变化 | Top-K 特征排名变动比例 | 排名变动超过 3 位触发预警 |
| SHAP 均值漂移 | 当前窗口 SHAP 均值 vs 基准窗口 SHAP 均值 | 相对变化 > 20% 触发预警 |
| 排列重要性衰减 | 当前排列重要性 / 基准排列重要性 | 比值 < 0.7 触发预警 |
案例警示：某消费信贷产品中，“近 3 个月查询次数”特征在训练集重要性排名第 2，上线 6 个月后排名跌至第 15，同时 PSI 达到 0.31。经排查发现，监管政策变化导致查询次数分布整体右移，模型对该特征的依赖已不可靠，最终触发特征替换。
4.3 特征相关性矩阵巡检
特征相关性矩阵用于检测特征之间的线性或非线性关联是否发生结构性变化。当相关性显著增强或减弱时，可能引发多重共线性或特征冗余，影响模型稳定性与可解释性。
巡检要点
- 相关性变化幅度：计算训练集与近期样本的相关系数矩阵差值，关注变化超过 0.2 的特征对。
- 高相关特征对：若某对特征相关系数从 <0.3 升至 >0.7，需警惕特征冗余或数据泄露。
- 符号反转：相关系数正负号反转（如从 +0.5 变为 -0.4）通常意味着业务逻辑发生根本变化。
相关性变化等级与应对
| 变化等级 | 相关系数变化幅度 | 应对措施 |
|---|---|---|
| 绿色 | |Δr| < 0.1 | 正常监控，无需干预 |
| 黄色 | 0.1 ≤ |Δr| < 0.3 | 排查特征来源与业务变化，评估是否需要特征工程调整 |
| 红色 | |Δr| ≥ 0.3 | 立即隔离特征对，重新进行特征选择或降维处理 |
4.4 巡检频率与自动化建议
特征工程稳定性巡检应纳入日常模型监控体系，建议按以下频率执行：
- 日度巡检：PSI 计算（对高频特征），自动触发预警。
- 周度巡检：特征重要性变化监控，生成排名漂移报告。
- 月度巡检：特征相关性矩阵全面计算，输出变化热力图。
注意：特征工程稳定性巡检不能替代模型整体稳定性监控，但它是定位模型衰减根因的关键手段。当 PSI、特征重要性或相关性同时出现异常时，模型失效概率极高，需立即启动应急响应流程。