4. PSI 阈值实战:PSI 计算步骤详解、PSI 阈值分段标准与业务场景推荐
群体稳定性指标(PSI)是衡量模型特征分布随时间偏移程度的量化工具。本章从计算步骤、阈值分段到业务场景推荐,完整覆盖 PSI 阈值设置的实战要点。
4.1 PSI 计算步骤详解
PSI 的计算基于将连续变量分箱后,比较每个箱内实际分布与期望分布的占比变化。标准计算流程包含以下 5 个步骤:
- 确定参考分布(期望分布):通常使用模型训练集或验证集的预测分数分布作为基准。
- 确定当前分布(实际分布):选取生产环境最近一个时间窗口(如 7 天、30 天)的模型输出分数。
- 分箱处理:将分数范围划分为等宽或等频的 K 个区间(通常 K=10)。
- 计算各箱占比:分别计算期望分布占比 \(E_i\) 和实际分布占比 \(A_i\)。
- 计算 PSI 值:对每个箱计算 \((A_i - E_i) \times \ln(A_i / E_i)\),并求和。
PSI 计算公式:
PSI = Σ[(A_i - E_i) * ln(A_i / E_i)] (i = 1, 2, ..., K)
其中 \(A_i\) 为当前分布在第 i 个箱的占比,\(E_i\) 为期望分布在第 i 个箱的占比。当某个箱的 \(E_i\) 或 \(A_i\) 为 0 时,通常用极小值(如 0.0001)替代以避免除零错误。
以下表格展示一个 10 箱等宽分箱的 PSI 计算示例(仅展示前 5 箱):
| 分数区间 | 期望占比 \(E_i\) | 实际占比 \(A_i\) | 差值 \(A_i - E_i\) | 比值 \(A_i / E_i\) | 单箱贡献 |
|---|---|---|---|---|---|
| [0.0, 0.1) | 0.10 | 0.08 | -0.02 | 0.80 | 0.0045 |
| [0.1, 0.2) | 0.12 | 0.15 | 0.03 | 1.25 | 0.0067 |
| [0.2, 0.3) | 0.15 | 0.18 | 0.03 | 1.20 | 0.0055 |
| [0.3, 0.4) | 0.18 | 0.20 | 0.02 | 1.11 | 0.0021 |
| [0.4, 0.5) | 0.20 | 0.22 | 0.02 | 1.10 | 0.0019 |
完整 10 箱求和后,该示例的 PSI 值为 0.087,处于轻度偏移区间。
4.2 PSI 阈值分段标准(0.1 / 0.2 / 0.25)
行业实践中,PSI 阈值通常划分为三个等级,对应不同的偏移程度和告警响应策略:
| PSI 区间 | 偏移等级 | 含义 | 建议响应 |
|---|---|---|---|
| PSI < 0.1 | 无偏移 / 轻微偏移 | 分布基本稳定,属于正常波动范围 | 无需告警,仅记录日志 |
| 0.1 ≤ PSI < 0.2 | 中度偏移 | 分布出现可察觉变化,需关注 | 触发黄色告警,通知模型负责人 |
| 0.2 ≤ PSI < 0.25 | 显著偏移 | 分布发生明显漂移,需介入分析 | 触发橙色告警,启动人工排查 |
| PSI ≥ 0.25 | 严重偏移 | 分布已发生结构性变化,模型失效风险高 | 触发红色告警,考虑模型回滚或重新训练 |
阈值选择陷阱:0.1/0.2/0.25 是行业通用参考值,但并非绝对标准。直接套用可能导致高敏感业务漏报或低敏感业务误报。务必结合业务容忍度进行校准。
4.3 不同业务场景下的 PSI 推荐阈值
不同业务场景对模型稳定性的容忍度差异显著。以下表格总结了常见场景的 PSI 推荐阈值:
| 业务场景 | 推荐黄色阈值 | 推荐红色阈值 | 说明 |
|---|---|---|---|
| 信贷审批 | 0.10 | 0.20 | 监管严格,偏移容忍度低,需快速响应 |
| 反欺诈 | 0.15 | 0.25 | 欺诈模式变化快,适当放宽阈值避免频繁告警 |
| 推荐系统 | 0.15 | 0.30 | 用户行为波动大,容忍度较高 |
| 医疗诊断 | 0.05 | 0.10 | 安全要求极高,任何偏移都需关注 |
| 广告点击率预估 | 0.10 | 0.20 | 流量波动频繁,需平衡告警灵敏度 |
| 智能客服 | 0.20 | 0.35 | 对话场景多样性高,偏移容忍度最大 |
实战建议:初始部署时,建议使用行业推荐阈值(0.1/0.2/0.25)作为基线。运行 2-4 周后,根据实际告警频率和业务反馈,使用历史 PSI 分布的分位数(如 P80、P95)动态调整阈值,使告警率控制在 5%-10% 之间。
4.4 阈值设置避坑清单
- 避免单一阈值一刀切:不同特征、不同模型应使用差异化阈值。
- 避免忽略分箱方式影响:等宽分箱与等频分箱计算出的 PSI 值可能差异较大,需统一标准。
- 避免阈值设置后不迭代:业务环境变化后,阈值应定期重新校准。
- 避免只看 PSI 总值:应同时监控每个分箱的贡献值,定位偏移来源。
- 避免忽略样本量变化:当前分布样本量过小时,PSI 值可能不稳定,需设置最小样本量门槛。