4. PSI群体稳定性指标
群体稳定性指标(Population Stability Index, PSI)是风控模型监控中最核心的量化工具之一。它衡量的是模型评分(或关键特征)在时间维度上的分布偏移程度——即“现在的样本分布,和建模时的样本分布,到底差了多少”。
在 Champion Challenger 框架中,PSI 是判断模型是否需要退役、是否需要重新训练、以及 Challenger 是否真正优于 Champion 的关键依据。
4.1 PSI 的定义
PSI 本质上是一种基于分箱的分布距离度量。它通过比较两个样本集在相同分箱区间上的占比差异,来量化分布的整体偏移程度。
- 预期分布(Expected):通常指模型开发时的训练集或验证集评分分布,作为基准。
- 实际分布(Actual):当前生产环境中的模型评分分布,是需要被监控的对象。
- 分箱(Binning):将评分区间划分为若干等宽或等频的箱子,通常为 10 箱。
核心思想:如果实际分布与预期分布完全一致,PSI = 0;差异越大,PSI 值越高。PSI 不关心模型好坏,只关心分布是否“变了”。
4.2 PSI 计算公式
PSI 的计算分为三步:分箱、计算占比、求和。公式如下:
PSI = Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i)
其中:
i = 第 i 个分箱
Actual_i = 第 i 箱中实际样本占比
Expected_i = 第 i 箱中预期样本占比
ln = 自然对数
计算步骤详解:
- 分箱:将评分区间(如 0-1000 分)等分为 10 个区间,或按等频分箱。
- 统计占比:分别计算预期样本和实际样本在每个箱子中的数量占比(%)。
- 计算单箱贡献:对每个箱子计算 (实际占比 - 预期占比) × ln(实际占比 / 预期占比)。
- 求和:将所有箱子的贡献值相加,得到最终 PSI。
注意事项:当某个箱子中预期占比或实际占比为 0 时,会导致 ln(0) 计算异常。实际处理中,通常对占比做微小平滑处理(如加 0.0001),或将该箱子与相邻箱子合并。
4.3 PSI 在模型监控中的作用
在 Champion Challenger 体系中,PSI 承担着三个关键角色:
| 监控角色 | 具体作用 | 监控频率 |
|---|---|---|
| 分布漂移预警 | 当 PSI 超过阈值时,提示模型评分分布发生显著变化,可能由客群迁移、政策变化或数据质量问题引起。 | 每日 / 每周 |
| 模型稳定性评估 | 对比 Champion 和 Challenger 在同一时间窗口内的 PSI,判断哪个模型的评分分布更稳定。 | 每月 |
| 模型退役决策 | 当 Champion 模型 PSI 持续高位运行,且 Challenger 在效果和稳定性上均占优时,触发模型替换流程。 | 季度 / 半年度 |
常见误区:PSI 低不代表模型效果好,只代表分布稳定。一个“稳定地犯错”的模型,PSI 可能很低,但区分能力已经丧失。因此 PSI 必须与 KS、AUC 等区分度指标联合监控。
下图展示了 PSI 在 Champion Challenger 模型监控流程中的位置:
4.4 PSI 阈值设定
PSI 阈值没有绝对标准,需要根据业务场景、模型类型和风险偏好来设定。以下是行业通用参考:
| PSI 范围 | 稳定性等级 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 稳定 | 无需干预,继续常规监控。 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 发出预警,排查原因(客群变化?数据源变更?),加强监控频率。 |
| PSI ≥ 0.25 | 严重漂移 | 立即触发模型评审,准备 Champion 退役或 Challenger 上线方案。 |
阈值调整原则:
- 高风险业务(如信贷审批):建议收紧阈值,PSI > 0.15 即触发预警。
- 低风险业务(如营销评分):可适当放宽至 PSI > 0.3 再触发干预。
- Champion vs Challenger 对比:若 Challenger 的 PSI 显著低于 Champion(如低 0.05 以上),且区分度不差,则 Challenger 更优。
下图展示了不同 PSI 阈值下的决策路径:
4.5 PSI 与 Champion Challenger 的联动
在 Champion Challenger 评估中,PSI 不是孤立指标,而是与以下指标形成评估矩阵:
| 评估维度 | 核心指标 | Champion 优势 | Challenger 优势 |
|---|---|---|---|
| 区分度 | KS / AUC | KS > 0.3 | KS 提升 > 0.02 |
| 稳定性 | PSI | PSI < 0.1 | PSI 更低或持平 |
| 业务效果 | 通过率 / 坏账率 | 通过率稳定 | 坏账率下降 > 5% |
实战建议:当 Challenger 的区分度优于 Champion,但 PSI 也显著高于 Champion 时,需要警惕 Challenger 可能过拟合了当前样本的噪声。此时应延长观察期,或对 Challenger 做更严格的稳定性测试。
总结:PSI 是模型监控的“体温计”,它不告诉你模型好不好,但能第一时间告诉你模型“生病了”。在 Champion Challenger 框架中,PSI 是判断模型是否健康运行、是否需要更换的核心依据之一。