1. PSI 概念与背景
1.1 什么是 PSI?
PSI(Population Stability Index,群体稳定性指数) 是一种衡量两个样本分布之间差异程度的统计量。它最早起源于保险精算领域,后被广泛应用于金融风控、营销模型监控等场景,用于评估模型评分或用户特征在时间维度上的分布是否发生显著偏移。
简单来说,PSI 量化了“当前样本分布”相对于“基准样本分布”的变化幅度。当 PSI 值超过一定阈值时,意味着模型所依赖的输入特征或输出分数发生了结构性漂移,模型可能已经失效,需要及时告警并触发重训或调整。
核心思想: 如果模型上线后,其评分分布与开发时的分布保持一致,说明模型运行稳定;反之,分布偏移越大,模型失效风险越高。
1.2 PSI 的起源与发展
| 阶段 | 时间 | 关键事件 |
|---|---|---|
| 起源 | 20 世纪 80 年代 | 保险精算师在评估不同保单组合的风险分布时,首次提出稳定性度量概念 |
| 引入风控 | 2000 年代初期 | 巴塞尔协议推动信用风险量化,PSI 被用于监控评分卡模型的稳定性 |
| 营销扩展 | 2010 年代 | 互联网营销兴起,PSI 用于监控用户响应率、点击率等特征分布漂移 |
| 标准化 | 至今 | 成为风控、营销、推荐系统模型监控的标配指标,被写入多家银行与监管机构的技术规范 |
1.3 PSI 在风控与营销模型中的重要性
在风控和营销场景中,模型通常基于历史数据训练,上线后面对的是实时变化的业务环境。如果不对模型稳定性进行监控,可能出现以下问题:
- 风控模型失效: 用户信用行为模式变化(如疫情后收入波动),导致评分卡对违约风险的区分能力下降,坏账率上升。
- 营销模型误判: 用户对营销活动的响应偏好发生漂移,模型推荐的客群不再精准,转化率骤降,营销成本浪费。
- 监管合规风险: 金融监管机构要求模型在全生命周期内保持可解释性与稳定性,PSI 是重要的合规监控指标。
关键价值: PSI 提供了一种量化、可对比、可告警的监控手段,帮助数据科学家和运维团队在模型性能明显下降之前,提前发现分布漂移并采取行动。
1.4 PSI 的计算原理(概念层)
PSI 的计算基于将连续变量分箱后,比较每个箱内实际占比与预期占比的差异。其数学本质是 信息熵的变体,公式如下:
PSI = Σ ( (实际占比_i - 预期占比_i) * ln(实际占比_i / 预期占比_i) )
其中:
- 预期占比(Expected %): 基准样本(如模型开发时的训练集)在每个分箱中的样本比例。
- 实际占比(Actual %): 当前监控样本(如线上实时数据)在每个分箱中的样本比例。
- 分箱: 通常将评分或特征等分为 10 箱(Decile),也可根据业务需要自定义分箱数。
PSI 值越大,说明两个分布差异越大,模型稳定性越差。
1.5 PSI 的典型阈值与含义
| PSI 范围 | 稳定性等级 | 建议行动 |
|---|---|---|
| < 0.1 | 稳定 | 无需干预,模型运行正常 |
| 0.1 ~ 0.25 | 轻度漂移 | 需关注,建议排查特征变化原因 |
| > 0.25 | 严重漂移 | 立即告警,触发模型重训或回滚 |
注意: 上述阈值为行业通用经验值,实际业务中应根据模型重要性、数据量级、业务容忍度等因素进行微调。例如,高风险的信贷审批模型可能将告警阈值设为 0.15。
1.6 PSI 监控在模型生命周期中的位置
下图展示了 PSI 监控在风控/营销模型全生命周期中的关键位置:
1.7 为什么选择 PSI 而非其他指标?
在模型监控领域,除了 PSI,还有 KS、Gini、AUC 等性能指标。PSI 的独特优势在于:
- 分布敏感性: PSI 对分布的整体形状变化敏感,而不仅仅是排序能力(如 KS 主要关注区分度)。
- 无量纲统一: PSI 是一个归一化指标,可以跨模型、跨特征进行横向对比。
- 计算简单: 仅需分箱统计和简单对数运算,适合大规模实时监控场景。
- 可解释性强: 每个分箱的贡献度可以单独分析,便于定位漂移来源。
总结: PSI 是风控与营销模型监控中最基础、最通用的稳定性指标。理解 PSI 的概念与背景,是后续学习阈值设定、告警策略、自动化监控体系的前提。