2. PSI 应用场景:模型监控、特征漂移检测、信贷风控、用户画像稳定性评估
群体稳定性指标(PSI)的核心价值在于量化两个时间窗口或两个群体之间概率分布或特征分布的差异程度。在实际生产环境中,PSI 被广泛应用于以下四大核心场景,每个场景对阈值的敏感度和业务含义均有差异。
2.1 模型监控:判断模型预测分布是否发生偏移
模型上线后,其预测分数(Score)或预测概率(Probability)的分布会随时间变化。PSI 通过比较模型在开发样本(期望分布)与近期生产样本(实际分布)上的输出分布,快速判断模型是否失效。
| 监控对象 | 期望分布(E) | 实际分布(A) | 典型阈值 |
|---|---|---|---|
| 模型预测概率 | 训练集/验证集输出 | 近 7 天/30 天生产输出 | PSI < 0.1 无漂移;0.1~0.25 需关注;> 0.25 严重漂移 |
| 模型评分卡分数 | 开发样本分数分布 | 月度/季度评分分布 | PSI > 0.2 触发模型重训 |
实战要点:模型监控 PSI 应分客群(如新客/老客)单独计算,避免整体分布掩盖局部漂移。建议设置日级与周级双时间窗口,日级用于快速发现异常,周级用于趋势判断。
2.2 特征漂移检测:定位导致模型退化的输入变量
当模型监控 PSI 触发告警后,需要逐特征计算 PSI,定位具体是哪些输入特征发生了分布偏移。特征级 PSI 是模型可解释性与根因分析的关键工具。
- 数值型特征:先分箱(等频或等距),再计算各箱占比的 PSI。
- 类别型特征:直接以每个类别作为分箱,计算 PSI。
- 高基数特征:合并低频类别为“其他”组,避免分箱过多导致 PSI 失真。
阈值建议:特征级 PSI 阈值通常比模型级更严格。推荐特征 PSI > 0.02 即标记为“轻度漂移”,> 0.1 标记为“严重漂移”,需立即排查数据采集或业务策略变更。
2.3 信贷风控:评估客群质量与策略稳定性
在信贷全生命周期中,PSI 被用于监控申请客群、贷中客群以及催收客群的风险分布变化。风控策略的调整(如准入规则、额度定价)会直接反映在 PSI 上。
- 申请评分卡(A卡):监控新申请客群与建模客群的 PSI,判断是否出现“客群漂移”。
- 行为评分卡(B卡):监控存量客户月度行为分数分布,早期预警贷中风险上升。
- 催收评分卡(C卡):监控逾期客户催收响应率分布,优化催收策略。
避坑指南:信贷场景中,PSI 告警不一定是模型问题。例如,监管要求收紧导致优质客群占比上升,PSI 可能升高但模型实际表现更好。此时应结合 KS、AUC 等区分度指标综合判断,避免误触发模型重训。
2.4 用户画像稳定性评估:保障推荐与营销效果
用户画像标签(如年龄、收入、兴趣偏好)的分布稳定性直接影响推荐系统与精准营销的效果。PSI 在此场景中用于监控标签分布是否发生结构性变化。
| 画像维度 | 监控频率 | PSI 阈值 | 业务影响 |
|---|---|---|---|
| 基础属性(年龄/性别) | 月度 | < 0.05 | 用户结构变化,影响定向投放 |
| 兴趣偏好标签 | 周度 | < 0.1 | 推荐内容匹配度下降 |
| 消费能力等级 | 月度 | < 0.08 | 营销活动转化率波动 |
实战要点:用户画像 PSI 计算前需做数据质量校验,剔除空值率突增或异常值。建议对每个标签单独建立 PSI 基线,并设置动态阈值(如均值±3倍标准差),避免固定阈值在业务淡旺季误报。
2.5 场景阈值速查表
以下汇总了四个场景的推荐 PSI 阈值与监控频率,供实际工程落地时参考。
| 应用场景 | 监控粒度 | 无漂移 | 需关注 | 严重漂移 | 推荐频率 |
|---|---|---|---|---|---|
| 模型预测分布 | 整体 | < 0.10 | 0.10 ~ 0.25 | > 0.25 | 日/周 |
| 特征漂移 | 单特征 | < 0.02 | 0.02 ~ 0.10 | > 0.10 | 日 |
| 信贷风控客群 | 客群/策略 | < 0.05 | 0.05 ~ 0.15 | > 0.15 | 周/月 |
| 用户画像标签 | 单标签 | < 0.05 | 0.05 ~ 0.10 | > 0.10 | 周/月 |
核心原则:阈值不是一成不变的。建议每个场景先积累 3~6 个月历史 PSI 数据,采用百分位法(如 P95 作为告警线)或均值+3σ 法动态设定阈值,使告警更贴合实际业务波动。