1. PSI 概念与背景:什么是 PSI?它在风控与模型监控中的核心价值
1.1 什么是 Population Stability Index(PSI)
Population Stability Index(群体稳定性指标) 是衡量两个样本分布之间差异程度的统计量。在机器学习模型监控与风控领域,PSI 被广泛用于量化模型评分或特征分布在时间维度上的偏移程度。
PSI 的计算基于对样本进行分箱(Binning),比较每个分箱中实际占比与预期占比的差异,其数学公式如下:
PSI = Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i)
其中:
- Actual_i = 第 i 个分箱中当前样本的实际占比
- Expected_i = 第 i 个分箱中基准样本的预期占比
- ln = 自然对数
PSI 值越小,说明两个分布越接近;PSI 值越大,说明分布偏移越严重。通常业界将 PSI 值划分为三个区间来判断漂移程度:
| PSI 值范围 | 漂移程度 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 无显著漂移 | 模型可继续使用,无需干预 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 需关注并排查原因,准备模型更新 |
| PSI ≥ 0.25 | 严重漂移 | 立即告警,模型需重新训练或下线 |
💡 提示: PSI 的阈值并非绝对固定,实际业务中需根据模型重要性、数据量级、业务容忍度等因素动态调整。本教程后续章节将详细讲解阈值设置方法。
1.2 PSI 在风控与模型监控中的核心价值
在金融风控、信贷审批、反欺诈等场景中,模型所依赖的用户行为数据、经济环境、政策法规等外部因素会随时间发生变化,导致模型输入特征分布产生偏移。PSI 的核心价值体现在以下三个层面:
- 早期预警: 在模型效果明显下降之前,PSI 能提前捕捉到数据分布的变化,为风控团队争取干预时间。
- 归因定位: 通过计算每个特征的 PSI,可以快速定位是哪些特征发生了漂移,从而缩小排查范围。
- 模型生命周期管理: PSI 是模型监控体系中的核心指标之一,与 KS、AUC 等效果指标配合使用,共同决定模型是否需要更新或退役。
📌 关键认知: PSI 监控的不是模型效果本身,而是模型输入数据的稳定性。数据稳定是模型效果稳定的前提条件。
1.3 PSI 在模型监控体系中的位置
下图展示了 PSI 在完整模型监控体系中的定位与上下游关系:
1.4 PSI 与相关指标对比
为帮助理解 PSI 的独特价值,下表将其与模型监控中其他常用指标进行对比:
| 指标 | 监控对象 | 核心用途 | 与 PSI 的关系 |
|---|---|---|---|
| PSI | 特征/评分分布 | 数据漂移检测 | — |
| KS | 模型区分能力 | 效果衰减监控 | PSI 上升通常先于 KS 下降 |
| AUC | 模型排序能力 | 整体效果评估 | PSI 严重漂移时 AUC 必然受损 |
| 特征重要性 | 单个特征贡献度 | 特征有效性监控 | PSI 可定位具体漂移特征 |
⚠️ 常见误区: 不要将 PSI 与模型效果指标(KS/AUC)混为一谈。PSI 衡量的是输入分布稳定性,而非模型预测准确性。一个 PSI 很低的模型,其效果也可能很差(例如模型本身已过时);反之,PSI 升高也不一定立即导致效果下降,但这是一个强烈的风险信号。
1.5 典型应用场景
PSI 在风控与模型监控中的典型应用场景包括:
- 信贷审批模型监控: 监控申请用户群体的评分分布是否因客群下沉或政策变化而发生偏移。
- 反欺诈模型监控: 检测欺诈特征分布是否因黑产攻击手段升级而改变。
- 额度定价模型监控: 跟踪用户收入、负债等关键特征在宏观经济波动下的稳定性。
- 模型上线前验证: 对比训练集与验证集的 PSI,确保样本分布一致。
通过本教程的学习,你将掌握 PSI 从理论到实战的完整知识体系,并能够独立设置合理的漂移告警阈值,构建稳健的模型监控系统。