4. PSI 阈值实战:PSI 计算步骤详解、PSI 阈值分段标准与业务场景推荐

群体稳定性指标(PSI)是衡量模型特征分布随时间偏移程度的量化工具。本章从计算步骤、阈值分段到业务场景推荐,完整覆盖 PSI 阈值设置的实战要点。

4.1 PSI 计算步骤详解

PSI 的计算基于将连续变量分箱后,比较每个箱内实际分布与期望分布的占比变化。标准计算流程包含以下 5 个步骤:

  1. 确定参考分布(期望分布):通常使用模型训练集或验证集的预测分数分布作为基准。
  2. 确定当前分布(实际分布):选取生产环境最近一个时间窗口(如 7 天、30 天)的模型输出分数。
  3. 分箱处理:将分数范围划分为等宽或等频的 K 个区间(通常 K=10)。
  4. 计算各箱占比:分别计算期望分布占比 \(E_i\) 和实际分布占比 \(A_i\)。
  5. 计算 PSI 值:对每个箱计算 \((A_i - E_i) \times \ln(A_i / E_i)\),并求和。
PSI 计算公式:
PSI = Σ[(A_i - E_i) * ln(A_i / E_i)]   (i = 1, 2, ..., K)

其中 \(A_i\) 为当前分布在第 i 个箱的占比,\(E_i\) 为期望分布在第 i 个箱的占比。当某个箱的 \(E_i\) 或 \(A_i\) 为 0 时,通常用极小值(如 0.0001)替代以避免除零错误。

以下表格展示一个 10 箱等宽分箱的 PSI 计算示例(仅展示前 5 箱):

分数区间 期望占比 \(E_i\) 实际占比 \(A_i\) 差值 \(A_i - E_i\) 比值 \(A_i / E_i\) 单箱贡献
[0.0, 0.1) 0.10 0.08 -0.02 0.80 0.0045
[0.1, 0.2) 0.12 0.15 0.03 1.25 0.0067
[0.2, 0.3) 0.15 0.18 0.03 1.20 0.0055
[0.3, 0.4) 0.18 0.20 0.02 1.11 0.0021
[0.4, 0.5) 0.20 0.22 0.02 1.10 0.0019

完整 10 箱求和后,该示例的 PSI 值为 0.087,处于轻度偏移区间。

PSI 计算流程 1. 确定参考分布 2. 获取当前分布 3. 等频/等宽分箱 4. 计算各箱占比 5. 求和 关键注意事项: • 分箱数量 K 通常取 10,过少会丢失细节,过多会导致噪声放大。 • 当某个箱的期望占比 E_i = 0 时,使用 0.0001 替代,避免 ln(0) 错误。 • 实际占比 A_i 为 0 时,该箱贡献记为 0,不参与求和。 • 建议同时监控每个箱的贡献值,定位偏移最大的分数区间。 • 计算周期建议与模型评估周期一致,如每日或每周计算一次。

4.2 PSI 阈值分段标准(0.1 / 0.2 / 0.25)

行业实践中,PSI 阈值通常划分为三个等级,对应不同的偏移程度和告警响应策略:

PSI 区间 偏移等级 含义 建议响应
PSI < 0.1 无偏移 / 轻微偏移 分布基本稳定,属于正常波动范围 无需告警,仅记录日志
0.1 ≤ PSI < 0.2 中度偏移 分布出现可察觉变化,需关注 触发黄色告警,通知模型负责人
0.2 ≤ PSI < 0.25 显著偏移 分布发生明显漂移,需介入分析 触发橙色告警,启动人工排查
PSI ≥ 0.25 严重偏移 分布已发生结构性变化,模型失效风险高 触发红色告警,考虑模型回滚或重新训练
阈值选择陷阱:0.1/0.2/0.25 是行业通用参考值,但并非绝对标准。直接套用可能导致高敏感业务漏报或低敏感业务误报。务必结合业务容忍度进行校准。
PSI 阈值分段与告警等级 PSI < 0.1 无偏移 0.1 ≤ PSI < 0.2 0.2 ≤ PSI < 0.25 PSI ≥ 0.25 严重 告警响应策略: • 绿色区(PSI < 0.1):仅记录日志,不触发告警。 • 黄色区(0.1 ≤ PSI < 0.2):触发黄色告警,通知模型负责人关注。 • 橙色区(0.2 ≤ PSI < 0.25):触发橙色告警,启动人工排查与根因分析。 • 红色区(PSI ≥ 0.25):触发红色告警,考虑模型回滚或紧急重新训练。

4.3 不同业务场景下的 PSI 推荐阈值

不同业务场景对模型稳定性的容忍度差异显著。以下表格总结了常见场景的 PSI 推荐阈值:

业务场景 推荐黄色阈值 推荐红色阈值 说明
信贷审批 0.10 0.20 监管严格,偏移容忍度低,需快速响应
反欺诈 0.15 0.25 欺诈模式变化快,适当放宽阈值避免频繁告警
推荐系统 0.15 0.30 用户行为波动大,容忍度较高
医疗诊断 0.05 0.10 安全要求极高,任何偏移都需关注
广告点击率预估 0.10 0.20 流量波动频繁,需平衡告警灵敏度
智能客服 0.20 0.35 对话场景多样性高,偏移容忍度最大
实战建议:初始部署时,建议使用行业推荐阈值(0.1/0.2/0.25)作为基线。运行 2-4 周后,根据实际告警频率和业务反馈,使用历史 PSI 分布的分位数(如 P80、P95)动态调整阈值,使告警率控制在 5%-10% 之间。

4.4 阈值设置避坑清单

  • 避免单一阈值一刀切:不同特征、不同模型应使用差异化阈值。
  • 避免忽略分箱方式影响:等宽分箱与等频分箱计算出的 PSI 值可能差异较大,需统一标准。
  • 避免阈值设置后不迭代:业务环境变化后,阈值应定期重新校准。
  • 避免只看 PSI 总值:应同时监控每个分箱的贡献值,定位偏移来源。
  • 避免忽略样本量变化:当前分布样本量过小时,PSI 值可能不稳定,需设置最小样本量门槛。