2、PSI指标详解:群体稳定性指标(PSI)的定义、PSI的计算公式、PSI的数学原理与直观理解
2.1 群体稳定性指标(PSI)的定义
群体稳定性指标(Population Stability Index,PSI)是衡量模型评分或特征分布在时间维度上发生偏移程度的量化指标。在机器学习模型监控中,PSI用于回答一个核心问题:“当前生产环境中的模型输入特征分布,与模型训练时的特征分布是否保持一致?”
PSI的核心思想是通过比较两个概率分布之间的差异,来量化分布的变化程度。当PSI值超过一定阈值时,表明特征分布发生了显著变化,模型可能面临性能下降的风险。
关键定义: PSI = 两个分布(期望分布 vs 实际分布)在每个分箱上的差异加权和。值越大,分布偏移越严重。
2.2 PSI的计算公式
PSI的计算基于将连续变量离散化为K个分箱(通常为10~20个等频分箱),然后比较每个分箱中样本占比的变化。标准计算公式如下:
PSI = Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i)
其中:
- Expected_i = 训练集(基准期)在第 i 个分箱中的样本占比
- Actual_i = 当前监控期在第 i 个分箱中的样本占比
- ln = 自然对数
- Σ = 对所有 K 个分箱求和
计算步骤:
- 分箱:将特征值域划分为K个区间(通常基于训练集等频分箱)。
- 计算基准占比:统计训练集在每个分箱中的样本比例 Expected_i。
- 计算实际占比:统计当前监控期数据在每个分箱中的样本比例 Actual_i。
- 计算每个分箱的贡献:(Actual_i - Expected_i) × ln(Actual_i / Expected_i)。
- 求和:将所有分箱的贡献值相加,得到最终的PSI值。
⚠️ 分母为零处理: 当 Expected_i = 0 时,ln(0) 无定义。实际应用中,通常对每个分箱的占比进行平滑处理(如加一个小常数 ε = 0.0001),或直接将该分箱合并到相邻分箱中。
2.3 PSI的数学原理与直观理解
2.3.1 数学本质:离散化KL散度
PSI在数学上等价于离散化后的KL散度(Kullback-Leibler Divergence)的对称化形式。KL散度衡量两个概率分布P和Q之间的非对称差异:
KL(P || Q) = Σ P(i) × ln(P(i) / Q(i))
PSI实际上是 KL(Actual || Expected) + KL(Expected || Actual) 的对称版本,但标准PSI公式只取前向KL散度(以Expected为基准)。当分布完全一致时,PSI = 0;差异越大,PSI值越大。
| 指标 | 公式 | 对称性 | 取值范围 |
|---|---|---|---|
| PSI | Σ (A_i - E_i) × ln(A_i / E_i) | 非对称(以E为基准) | [0, +∞) |
| KL散度 | Σ P(i) × ln(P(i) / Q(i)) | 非对称 | [0, +∞) |
| JS散度 | ½KL(P||M) + ½KL(Q||M) | 对称 | [0, ln2] |
2.3.2 直观理解:分布偏移的“信号强度”
从直观角度理解PSI:
- PSI ≈ 0(通常 < 0.1): 当前分布与基准分布几乎一致,模型稳定,无需干预。
- 0.1 ≤ PSI < 0.25: 存在轻度偏移,需要关注并排查原因,可能需重新训练。
- PSI ≥ 0.25: 严重偏移,模型性能大概率已显著下降,必须立即采取行动(如重训、回滚、特征工程调整)。
PSI的“信号强度”体现在:当某个分箱的实际占比远高于或远低于基准占比时,该分箱的贡献值会急剧增大。例如,一个分箱从基准的5%上升到当前的20%,其贡献值远大于从5%上升到6%的情况。
⚠️ 阈值不是绝对的: 上述阈值(0.1/0.25)是行业经验值,实际应用中应根据业务场景、模型类型、特征重要性等因素动态调整。对于风控模型,阈值可能更严格(如0.05);对于营销模型,可适当放宽。
2.3.3 PSI的分解:偏移来源定位
PSI的每个分箱贡献值可以独立分析,帮助定位偏移的具体来源:
- 正贡献分箱: Actual_i > Expected_i,说明该区间样本占比增加,可能是由于数据采集偏差或客群变化。
- 负贡献分箱: Actual_i < Expected_i,说明该区间样本占比减少,同样指示分布变化。
- 贡献绝对值最大的分箱: 是偏移的主要驱动因素,应优先排查。
2.4 PSI与特征漂移的关系
PSI是特征漂移监控中最常用的指标之一,但它并非万能:
- 优点: 计算简单、解释直观、阈值标准化、可分解定位偏移来源。
- 局限: 对分箱数量敏感、无法捕捉分布内部的复杂变化(如均值不变但方差变大)、对极端值不敏感(如果极端值被合并到边界分箱中)。
最佳实践: PSI应与其他漂移检测方法(如KS检验、JS散度、特征重要性加权漂移)结合使用,形成多维度监控体系。对于重要特征,建议同时监控PSI和特征统计量(均值、方差、分位数)的变化趋势。