二、PSI计算原理:分箱方法、期望分布与实际分布的计算、PSI值的分段标准
群体稳定性指标(Population Stability Index, PSI)是模型验证中最核心的量化监控工具。它通过比较模型评分在期望分布(建模/基准样本)与实际分布(当前监控样本)之间的偏移程度,来判断模型是否发生结构性退化。理解PSI的计算原理,是进行异常波动复盘的前提。
2.1 分箱方法:离散化的第一步
PSI计算要求将连续型评分变量转换为离散的类别变量,这一过程称为分箱。分箱的粒度直接影响PSI值的敏感度与稳定性。
| 分箱方法 | 核心逻辑 | 适用场景 | 注意事项 |
|---|---|---|---|
| 等距分箱 | 将评分区间按固定宽度划分为K个箱 | 评分分布接近均匀分布时 | 极端值可能导致空箱 |
| 等频分箱 | 使每个箱包含大致相等的样本量 | 最常用,保证各箱统计稳定性 | 边界点可能跨箱 |
| 最优分箱 | 基于决策树或卡方合并,最大化组间差异 | 需要精细刻画分布变化时 | 计算复杂度高,可解释性略差 |
行业实践建议:在模型监控中,通常采用等频分箱,箱数K一般设为10。若样本量较小(如<5000),可适当减少至5箱;若样本量极大(如>100万),可增加至20箱。分箱边界一旦在建模时确定,后续监控周期应固定不变,以保证PSI的可比性。
2.2 期望分布与实际分布的计算
分箱完成后,PSI的计算分为三个步骤:
- 确定基准分布(期望分布):使用建模样本或首次上线时的评分分布,计算每个箱的样本占比 \( P_i \)。
- 确定当前分布(实际分布):使用监控周期内的评分分布,计算每个箱的样本占比 \( Q_i \)。
- 计算每个箱的贡献值:对每个箱,计算 \( (Q_i - P_i) \times \ln(Q_i / P_i) \),然后求和得到PSI。
PSI计算公式:
\[
PSI = \sum_{i=1}^{K} (Q_i - P_i) \times \ln\left(\frac{Q_i}{P_i}\right)
\]
其中,\( K \) 为分箱数,\( P_i \) 为期望分布第i箱占比,\( Q_i \) 为实际分布第i箱占比。
下面通过一个具体案例展示计算过程。假设某评分模型分为5个等频箱,基准样本与监控样本各1000笔:
| 分箱区间 | 期望样本数 | 期望占比 \( P_i \) | 实际样本数 | 实际占比 \( Q_i \) | \( Q_i - P_i \) | \( \ln(Q_i / P_i) \) | 单箱贡献 |
|---|---|---|---|---|---|---|---|
| [0, 200) | 200 | 0.20 | 180 | 0.18 | -0.02 | -0.1054 | 0.0021 |
| [200, 400) | 200 | 0.20 | 210 | 0.21 | 0.01 | 0.0488 | 0.0005 |
| [400, 600) | 200 | 0.20 | 250 | 0.25 | 0.05 | 0.2231 | 0.0112 |
| [600, 800) | 200 | 0.20 | 220 | 0.22 | 0.02 | 0.0953 | 0.0019 |
| [800, 1000] | 200 | 0.20 | 140 | 0.14 | -0.06 | -0.3567 | 0.0214 |
| 合计 | 1000 | 1.00 | 1000 | 1.00 | 0.00 | — | 0.0371 |
上例中,PSI = 0.0371。可以看到,第5箱(高分区间)样本占比从20%下降到14%,贡献了最大的偏移量0.0214,是导致PSI升高的主要因素。
计算避坑:当某个箱的 \( P_i \) 或 \( Q_i \) 为0时,\( \ln(Q_i / P_i) \) 无定义。行业惯例是:若 \( P_i = 0 \),则将该箱与相邻箱合并;若 \( Q_i = 0 \),则用极小值(如0.0001)替代,或将该箱与相邻箱合并。切勿直接忽略空箱,否则PSI会被低估。
2.3 PSI值的分段标准
PSI值的大小反映了分布偏移的严重程度。业界通用的判断标准如下:
| PSI范围 | 偏移程度 | 行动建议 |
|---|---|---|
| PSI < 0.10 | 无显著偏移 | 模型稳定,无需干预 |
| 0.10 ≤ PSI < 0.25 | 轻度偏移 | 需关注,排查原因,加强监控频率 |
| PSI ≥ 0.25 | 严重偏移 | 立即触发预警,启动模型复核与重开发流程 |
需要特别说明的是,上述标准是经验阈值,实际应用中应根据业务场景调整:
- 高风险业务(如信贷审批):建议将预警阈值下调至0.15,严重阈值下调至0.20。
- 低风险业务(如营销评分):可适当放宽至0.15/0.30。
- 短期监控(如月度):PSI波动通常较小,0.05以上即应关注。
- 长期监控(如年度):PSI在0.10~0.20之间属于正常范围。
2.4 PSI计算与判断流程总览
下图完整展示了从分箱到阈值判断的PSI计算全流程:
2.5 常见误区与复盘要点
- 误区一:PSI越低越好。 PSI过低(如<0.01)可能意味着模型对近期客群变化不敏感,反而需要检查模型是否过度拟合或分箱过粗。
- 误区二:只看整体PSI。 整体PSI正常不代表每个箱都稳定。应同时查看单箱贡献度,定位偏移最大的箱区间。
- 误区三:忽略样本量变化。 若监控样本量远小于基准样本量,PSI的方差会增大,此时应结合置信区间判断,而非仅看点估计值。
- 误区四:分箱边界随意调整。 每次监控必须使用相同的分箱边界,否则PSI不可比。若需调整边界,应重新计算历史所有周期的PSI。
复盘检查清单:
- 确认分箱方法是否与建模时一致?
- 检查是否有空箱或占比极小的箱(<1%)?
- 计算单箱贡献度,找出贡献最大的前3个箱。
- 对比PSI与业务指标(如坏账率、通过率)的变化趋势是否一致。
- 若PSI>0.25,立即启动模型复核流程,并回溯特征分布变化。