4. 特征稳定性监控：PSI（群体稳定性指标）的计算原理、阈值设定、特征分布漂移的检测方法
特征稳定性是信用评分模型上线后最核心的监控维度之一。如果模型依赖的特征分布发生显著变化，即使模型本身没有“变坏”，其预测结果也会系统性偏离训练时的表现，导致排序能力下降或拒绝率异常。PSI（Population Stability Index，群体稳定性指标）是衡量特征分布漂移最常用的量化工具。
4.1 PSI 的计算原理
PSI 通过比较同一特征在“期望分布”（通常为建模样本或基准期）与“实际分布”（监控期）之间的差异，量化分布漂移程度。其核心思想来源于信息论中的 KL 散度（Kullback-Leibler divergence），但做了对称化处理。
计算步骤：
- 分箱（Binning）： 将特征值域划分为 k 个区间（通常 10–20 箱，等频或等距）。
- 计算各箱占比： 分别计算基准期占比 pi 和监控期占比 qi。
- 计算每箱偏差与权重： 对每个箱，计算 (qi - pi) × ln(qi / pi)。
- 求和： 将所有箱的上述值相加，得到 PSI。
PSI 公式：
PSI = Σ (qᵢ - pᵢ) × ln(qᵢ / pᵢ) (i = 1, 2, ..., k)其中：pi = 基准期第 i 箱的样本占比；qi = 监控期第 i 箱的样本占比。
分箱注意事项：
- 若某箱在基准期占比 pi = 0，则直接跳过该箱（避免除零）。
- 若监控期某箱占比 qi = 0，则令 ln(qi / pi) = 0（该箱贡献为 0）。
- 建议使用等频分箱（每箱样本数大致相等），对长尾分布更稳健。
4.2 PSI 阈值设定与解读
PSI 是一个无量纲指标，数值越大表示分布偏移越严重。行业通常采用以下经验阈值进行判断：
| PSI 范围 | 稳定性等级 | 建议行动 |
|---|---|---|
| PSI < 0.10 | 稳定 | 无需干预，持续常规监控 |
| 0.10 ≤ PSI < 0.25 | 轻度漂移 | 触发预警，排查业务原因，加强监控频率 |
| PSI ≥ 0.25 | 严重漂移 | 立即停用模型或启动重训练，深入分析漂移根因 |
阈值调整建议：
- 高风险场景（如反欺诈模型）： 建议收紧阈值，PSI ≥ 0.15 即触发深度排查。
- 低频特征（如收入、负债率）： 天然波动较大，可适当放宽至 PSI ≥ 0.30 再告警。
- 连续监控 vs 月度监控： 日频监控建议使用移动窗口 PSI，避免短期噪声导致误报。
4.3 特征分布漂移的检测方法
PSI 是全局指标，只能告诉你“分布变了”，但无法定位具体变化模式。实际工作中需要结合多种方法进行根因分析：
4.3.1 分箱贡献度分析
将 PSI 分解到每个分箱，识别贡献最大的箱。若某个箱的 (qi - pi) × ln(qi / pi) 占比超过总 PSI 的 40%，则重点分析该箱对应的客户群体。
4.3.2 特征分布可视化对比
绘制基准期与监控期的分布直方图或密度曲线，直观观察“左移/右移/双峰/尾部变厚”等形态变化。
4.3.3 统计检验辅助
- KS 检验（Kolmogorov-Smirnov）： 检验两个分布是否来自同一总体，适合连续特征。
- 卡方检验（Chi-square）： 检验分箱后频数分布是否一致，适合离散特征。
- JS 散度（Jensen-Shannon Divergence）： PSI 的对称平滑版本，对零值更鲁棒。
4.3.4 业务事件关联分析
将分布漂移的时间点与业务事件（如产品改版、客群调整、外部政策变化）对齐，判断漂移是否由已知业务动作引起。
4.4 特征稳定性监控的工程落地要点
| 环节 | 关键动作 | 常见陷阱 |
|---|---|---|
| 基准期选择 | 使用建模样本或最近 3–6 个月稳定期数据 | 基准期过短导致 PSI 对正常波动过度敏感 |
| 分箱策略 | 等频分箱（每箱 ≥ 5% 样本），连续特征建议 10–20 箱 | 等距分箱在长尾分布下易产生空箱 |
| 监控频率 | 日频/周频自动计算，月频生成报告 | 低频监控可能错过突发漂移 |
| 告警机制 | PSI ≥ 0.10 邮件/钉钉/企微通知，≥ 0.25 升级为 P0 事件 | 仅告警不跟进，漂移持续恶化 |
| 回放验证联动 | PSI 异常的特征需进入回放验证流程，评估对模型输出的影响 | 孤立看 PSI，忽略特征间联动漂移 |
⚠️ 重要提醒： PSI 只能检测分布变化，不能判断变化“好坏”。例如，风控收紧后坏账率下降，特征分布必然漂移，此时 PSI 升高是业务正常的反映，不应触发模型停用。务必结合业务背景解读 PSI。
4.5 案例：PSI 异常排查实战
场景： 某消费信贷产品 2024 年 6 月模型监控发现特征“近 3 个月查询次数”PSI 从 0.08 骤升至 0.31。
排查步骤：
- 分箱贡献分析： 发现“查询次数 ≥ 10 次”的箱贡献了总 PSI 的 65%，该箱监控期占比从 8% 升至 22%。
- 可视化对比： 密度曲线显示分布右移，尾部明显变厚。
- 业务关联： 5 月底市场部上线“新客免息券”活动，吸引大量多头借贷用户申请。
- 决策： 判定为业务活动导致的客群漂移，非模型失效。策略调整为：对查询次数 ≥ 10 次的申请提高拒绝阈值，并持续监控该特征 PSI 是否回落。
关键结论： PSI 是“哨兵”，不是“法官”。它负责发现异常，而根因分析和决策需要业务与模型团队共同完成。