3. PSI 概念解析:群体稳定性指标(PSI)的数学定义、物理意义与核心思想
群体稳定性指标(Population Stability Index,PSI)是模型监控中最核心的量化工具之一。它用于衡量模型评分(或预测概率)在两个不同时间窗口或样本集之间的分布偏移程度。简单来说,PSI 回答了这样一个问题:“模型今天看到的客户群体,和建模时看到的客户群体,还是同一批人吗?”
3.1 数学定义:从信息论到分箱计算
PSI 的数学基础源于信息论中的 KL 散度(Kullback-Leibler Divergence),但经过工程化改造后,采用分箱(Binning)方式进行近似计算。其标准公式如下:
PSI = Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i)
其中:
- i = 第 i 个分箱(通常为 10 或 20 等分箱)
- Actual_i = 当前样本(实际分布)在第 i 箱中的占比(%)
- Expected_i = 基准样本(期望分布)在第 i 箱中的占比(%)
计算步骤(标准流程):
- 分箱:将基准样本的评分/概率按数值升序排列,等频或等宽划分为 K 个区间(通常 K=10)。
- 计算基准占比:统计每个区间内基准样本的数量占比(Expected_i)。
- 映射当前样本:使用相同的分箱边界,统计当前样本落在每个区间的数量占比(Actual_i)。
- 逐箱计算:对每个区间计算 (Actual_i - Expected_i) × ln(Actual_i / Expected_i)。
- 求和:将所有区间的结果相加,得到最终的 PSI 值。
💡 工程注意点:当某个分箱中 Actual_i = 0 时,ln(0) 无定义。实践中通常对占比做微小平滑处理(如加 0.0001),或将该箱与相邻箱合并后再计算。
3.2 物理意义:分布偏移的“温度计”
PSI 的物理意义可以直观理解为:两个分布之间的“距离”或“差异程度”。数值越大,说明当前样本分布与基准样本分布偏离越严重。
| PSI 数值范围 | 偏移程度 | 建议行动 |
|---|---|---|
| < 0.10 | 无显著偏移 | 模型可继续使用,常规监控即可 |
| 0.10 ~ 0.25 | 轻度偏移 | 需关注,排查特征分布变化,准备重训 |
| > 0.25 | 严重偏移 | 立即告警,模型需紧急重训或下线审查 |
这些阈值(0.10、0.25)是工业界广泛使用的经验值,但具体业务场景可做微调。例如,在信贷风控中,0.15 可能就已触发人工复核。
3.3 核心思想:为什么是“群体稳定性”?
PSI 的核心思想可以概括为三个层次:
- 分布一致性假设:模型训练时假设训练集与未来应用集来自同一分布。PSI 就是检验这个假设是否仍然成立。
- 敏感于“整体漂移”:不同于单特征漂移检测(如 KS 检验、PSI 对特征),PSI 直接作用于模型输出分数,能捕捉到所有特征变化在模型层面的综合效应。
- 可解释性:通过分箱贡献度分析,可以快速定位是哪个分数区间的客户占比发生了剧烈变化,从而反推业务原因(如获客渠道调整、政策变更、客群下沉等)。
🔑 一句话总结:PSI 不是看模型“准不准”,而是看模型“面对的人群变没变”。即使模型精度暂时未下降,PSI 升高也是重要的预警信号。
3.4 PSI 与单特征漂移检测的对比
在模型监控体系中,PSI 并非孤立使用。下表对比了 PSI 与常见的单特征漂移检测方法:
| 维度 | PSI(群体稳定性指标) | 单特征 PSI / KS 检验 |
|---|---|---|
| 检测对象 | 模型输出分数/概率 | 单个输入特征 |
| 综合程度 | 高——反映所有特征变化的综合效应 | 低——仅反映单一特征变化 |
| 告警灵敏度 | 中等——需要一定程度的整体偏移才触发 | 高——单个特征突变即可触发 |
| 定位问题 | 弱——只能知道“整体变了”,需结合特征分析定位原因 | 强——直接定位到具体特征 |
| 监控频率 | 每日/每周(取决于业务量) | 实时或准实时 |
⚠️ 常见误区:PSI 低(<0.10)不代表模型一定没问题。如果模型已经失效(如特征与目标关系改变),但分数分布未变,PSI 可能仍然很低。因此 PSI 应与其他监控指标(如模型精度、特征重要性变化)配合使用。
3.5 核心思想总结
PSI 的本质是“分布一致性检验”在模型监控中的工程化落地。它不关心模型预测得准不准,只关心模型面对的群体是否发生了结构性变化。这种变化可能来自:
- 客群结构变化:新渠道引入低质量客户,或政策导致优质客户流失。
- 宏观环境变化:经济周期、行业监管、季节性波动。
- 数据采集变化:上游数据源变更、特征缺失率上升、数据口径调整。