4. PSI(群体稳定性指标)基础:定义、计算公式与业务含义
群体稳定性指标(Population Stability Index, PSI)是模型监控中最常用的量化指标之一。它衡量的是模型评分或预测概率在两个不同样本群体(通常是建模样本与当前生产样本)之间的分布偏移程度。PSI 值越大,说明模型所依赖的特征分布发生了越显著的变化,模型失效的风险也就越高。
4.1 PSI 的定义与核心思想
PSI 本质上是一种基于分箱的分布距离度量,它通过比较每个分数区间内样本占比的变化,来量化整体分布的偏移程度。其核心思想可以概括为:
- 分箱对齐:将模型输出(如预测概率、信用评分)划分为若干个等宽或等频的区间(通常为 10 或 20 个分箱)。
- 占比对比:分别计算每个分箱在基准样本(建模样本)和当前样本(生产样本)中的样本占比。
- 差异累积:将每个分箱的占比差异与对数变换相结合,累加得到最终的 PSI 值。
关键前提:PSI 要求基准样本与当前样本使用完全相同的分箱边界。如果分箱方式不一致,计算出的 PSI 将失去可比性。
4.2 PSI 的计算公式
PSI 的标准计算公式如下:
PSI = Σ [ (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i) ]
其中:
- i 表示第 i 个分箱(i = 1, 2, ..., n)
- P_expected_i = 基准样本(建模样本)在第 i 个分箱中的占比
- P_actual_i = 当前样本(生产样本)在第 i 个分箱中的占比
- ln 表示自然对数
计算步骤可以分解为以下流程:
- 确定分箱边界:基于基准样本的分数分布,将分数范围划分为 n 个区间(通常 n=10)。
- 计算基准占比:统计基准样本落在每个分箱内的样本数量,除以基准样本总数,得到 P_expected_i。
- 计算当前占比:使用相同的分箱边界,统计当前样本落在每个分箱内的样本数量,除以当前样本总数,得到 P_actual_i。
- 计算每个分箱的贡献:对每个分箱计算 (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i)。
- 求和:将所有分箱的贡献值相加,得到最终的 PSI 值。
边界处理:当某个分箱的 P_actual_i 或 P_expected_i 为 0 时,直接计算会导致对数无定义。实际应用中,通常会对占比进行微小平滑处理(如加 0.0001),或将该分箱与相邻分箱合并。
4.3 PSI 的业务含义与判断阈值
PSI 的值本身没有上限,但在实际业务中,通常使用以下经验阈值来判断模型稳定性:
| PSI 值范围 | 稳定性等级 | 业务含义与建议 |
|---|---|---|
| PSI < 0.1 | 稳定 | 模型评分分布无显著变化,模型可以继续使用,无需干预。 |
| 0.1 ≤ PSI < 0.25 | 轻度偏移 | 分布出现一定程度的漂移,建议深入排查特征变化原因,加强监控频率。 |
| PSI ≥ 0.25 | 严重偏移 | 分布发生显著变化,模型可能已失效,需要立即进行模型重训或重构。 |
阈值并非绝对:上述阈值是行业通用经验值,具体业务场景可能需要调整。例如,在风控领域,PSI 阈值可能更严格(如 0.05 即触发预警);而在营销场景中,阈值可以适当放宽。
4.4 PSI 计算过程可视化
下面的 SVG 图展示了 PSI 计算的核心流程,从分箱到最终指标输出:
4.5 PSI 与特征漂移的关系
PSI 是一个宏观指标,它反映的是模型输出层的整体稳定性。当 PSI 出现异常时,通常意味着底层的一个或多个特征发生了分布漂移。下表总结了 PSI 与特征漂移之间的对应关系:
| PSI 状态 | 可能的特征漂移原因 | 排查方向 |
|---|---|---|
| PSI 小幅上升(0.1-0.15) | 个别特征均值或方差轻微变化 | 检查单变量分布(如年龄、收入) |
| PSI 中等上升(0.15-0.25) | 多个特征同时漂移,或某个重要特征发生结构性变化 | 计算各特征的 PSI 或 KS 统计量 |
| PSI 大幅上升(>0.25) | 数据采集逻辑变更、客群结构突变、外部环境剧变 | 回溯数据管道,检查特征工程逻辑 |
实践建议:在模型监控体系中,PSI 应作为第一道防线。当 PSI 触发预警后,再逐层下钻到特征级别的漂移分析(如特征 PSI、特征 KS 检验),从而快速定位问题根源。
4.6 PSI 的局限性
尽管 PSI 应用广泛,但在使用时需要注意以下几点:
- 分箱敏感性:分箱数量、分箱方式(等宽 vs 等频)会直接影响 PSI 值。建议在建模阶段就固定分箱策略,并在监控中保持一致。
- 无法定位原因:PSI 只能告诉你“模型输出变了”,但不能告诉你“为什么变”。需要结合特征漂移分析、SHAP 值变化等可解释性工具进行归因。
- 对极端值不敏感:如果漂移仅发生在极少数高分箱或低分箱,且样本占比很小,PSI 可能无法及时捕捉到变化。
- 不适用于分类输出:PSI 主要针对连续型评分或概率输出。对于离散的分类结果,应使用混淆矩阵、准确率偏移等指标。