4. PSI(群体稳定性指标)基础:定义、计算公式与业务含义

群体稳定性指标(Population Stability Index, PSI)是模型监控中最常用的量化指标之一。它衡量的是模型评分或预测概率在两个不同样本群体(通常是建模样本与当前生产样本)之间的分布偏移程度。PSI 值越大,说明模型所依赖的特征分布发生了越显著的变化,模型失效的风险也就越高。

4.1 PSI 的定义与核心思想

PSI 本质上是一种基于分箱的分布距离度量,它通过比较每个分数区间内样本占比的变化,来量化整体分布的偏移程度。其核心思想可以概括为:

  • 分箱对齐:将模型输出(如预测概率、信用评分)划分为若干个等宽或等频的区间(通常为 10 或 20 个分箱)。
  • 占比对比:分别计算每个分箱在基准样本(建模样本)和当前样本(生产样本)中的样本占比。
  • 差异累积:将每个分箱的占比差异与对数变换相结合,累加得到最终的 PSI 值。
关键前提:PSI 要求基准样本与当前样本使用完全相同的分箱边界。如果分箱方式不一致,计算出的 PSI 将失去可比性。

4.2 PSI 的计算公式

PSI 的标准计算公式如下:

PSI = Σ [ (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i) ]

其中:
- i 表示第 i 个分箱(i = 1, 2, ..., n)
- P_expected_i = 基准样本(建模样本)在第 i 个分箱中的占比
- P_actual_i   = 当前样本(生产样本)在第 i 个分箱中的占比
- ln 表示自然对数

计算步骤可以分解为以下流程:

  1. 确定分箱边界:基于基准样本的分数分布,将分数范围划分为 n 个区间(通常 n=10)。
  2. 计算基准占比:统计基准样本落在每个分箱内的样本数量,除以基准样本总数,得到 P_expected_i。
  3. 计算当前占比:使用相同的分箱边界,统计当前样本落在每个分箱内的样本数量,除以当前样本总数,得到 P_actual_i。
  4. 计算每个分箱的贡献:对每个分箱计算 (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i)。
  5. 求和:将所有分箱的贡献值相加,得到最终的 PSI 值。
边界处理:当某个分箱的 P_actual_i 或 P_expected_i 为 0 时,直接计算会导致对数无定义。实际应用中,通常会对占比进行微小平滑处理(如加 0.0001),或将该分箱与相邻分箱合并。

4.3 PSI 的业务含义与判断阈值

PSI 的值本身没有上限,但在实际业务中,通常使用以下经验阈值来判断模型稳定性:

PSI 值范围 稳定性等级 业务含义与建议
PSI < 0.1 稳定 模型评分分布无显著变化,模型可以继续使用,无需干预。
0.1 ≤ PSI < 0.25 轻度偏移 分布出现一定程度的漂移,建议深入排查特征变化原因,加强监控频率。
PSI ≥ 0.25 严重偏移 分布发生显著变化,模型可能已失效,需要立即进行模型重训或重构。
阈值并非绝对:上述阈值是行业通用经验值,具体业务场景可能需要调整。例如,在风控领域,PSI 阈值可能更严格(如 0.05 即触发预警);而在营销场景中,阈值可以适当放宽。

4.4 PSI 计算过程可视化

下面的 SVG 图展示了 PSI 计算的核心流程,从分箱到最终指标输出:

PSI 计算流程与分箱对比 基准样本(建模集) 当前样本(生产集) 分箱 1: 0-10% 分箱 2: 10-20% 分箱 3: 20-30% ... 分箱 10: 90-100% 分箱 1: 0-10% 分箱 2: 10-20% 分箱 3: 20-30% ... 分箱 10: 90-100% 逐箱计算 (P_act - P_exp) * ln(P_act/P_exp) PSI = Σ 各箱贡献值 说明: 分箱边界由基准样本确定,当前样本使用相同边界。PSI 值越大,表示两个分布之间的差异越大,模型稳定性越差。

4.5 PSI 与特征漂移的关系

PSI 是一个宏观指标,它反映的是模型输出层的整体稳定性。当 PSI 出现异常时,通常意味着底层的一个或多个特征发生了分布漂移。下表总结了 PSI 与特征漂移之间的对应关系:

PSI 状态 可能的特征漂移原因 排查方向
PSI 小幅上升(0.1-0.15) 个别特征均值或方差轻微变化 检查单变量分布(如年龄、收入)
PSI 中等上升(0.15-0.25) 多个特征同时漂移,或某个重要特征发生结构性变化 计算各特征的 PSI 或 KS 统计量
PSI 大幅上升(>0.25) 数据采集逻辑变更、客群结构突变、外部环境剧变 回溯数据管道,检查特征工程逻辑
实践建议:在模型监控体系中,PSI 应作为第一道防线。当 PSI 触发预警后,再逐层下钻到特征级别的漂移分析(如特征 PSI、特征 KS 检验),从而快速定位问题根源。

4.6 PSI 的局限性

尽管 PSI 应用广泛,但在使用时需要注意以下几点:

  • 分箱敏感性:分箱数量、分箱方式(等宽 vs 等频)会直接影响 PSI 值。建议在建模阶段就固定分箱策略,并在监控中保持一致。
  • 无法定位原因:PSI 只能告诉你“模型输出变了”,但不能告诉你“为什么变”。需要结合特征漂移分析、SHAP 值变化等可解释性工具进行归因。
  • 对极端值不敏感:如果漂移仅发生在极少数高分箱或低分箱,且样本占比很小,PSI 可能无法及时捕捉到变化。
  • 不适用于分类输出:PSI 主要针对连续型评分或概率输出。对于离散的分类结果,应使用混淆矩阵、准确率偏移等指标。