1. PSI 概念与背景
1.1 PSI 的定义
群体稳定性指标(Population Stability Index,PSI) 是一种衡量两个样本分布之间差异程度的统计量。在风控与模型监控场景中,PSI 用于量化模型评分(或某个特征)在 时间维度 上的分布偏移程度。
PSI 的计算基于对样本分箱后的分布差异求和,其数学公式如下:
PSI = Σ (实际占比_i - 预期占比_i) * ln(实际占比_i / 预期占比_i)
其中:
- 预期占比(Expected):模型开发时(或基准期)的样本分布比例。
- 实际占比(Actual):当前监控期(或验证期)的样本分布比例。
- i:分箱后的第 i 个区间。
PSI 值越大,说明两个分布之间的差异越显著,模型或特征越不稳定。
1.2 PSI 在风控与模型监控中的重要性
在信贷风控、反欺诈、用户评分等场景中,模型上线后并非一成不变。客群行为、宏观经济、政策法规的变化都会导致模型输入特征分布发生偏移。PSI 是监控这种偏移的核心指标,其重要性体现在以下方面:
| 应用场景 | PSI 的作用 | 典型阈值 |
|---|---|---|
| 模型上线后监控 | 判断模型评分分布是否与开发期一致 | PSI < 0.1:无显著偏移 0.1 ≤ PSI < 0.25:需关注 PSI ≥ 0.25:需紧急干预 |
| 特征稳定性巡检 | 识别单个特征是否发生分布漂移 | 特征 PSI > 0.1 时标记为不稳定特征 |
| 模型迭代与回退决策 | 量化模型失效程度,决定是否回退或重建 | 连续 2 个监控周期 PSI > 0.25 触发回退 |
关键认知: PSI 不是万能的,它只能检测分布变化,不能解释变化原因。当 PSI 触发告警时,需要结合特征重要性、业务逻辑进行根因分析。
1.3 PSI 与群体稳定性分析的关系
群体稳定性分析是一个更广泛的框架,PSI 是其核心量化工具。两者的关系可以概括为:
- 群体稳定性分析:指对模型或特征在不同时间、不同客群子集上的表现一致性进行系统性评估,包括分布检验、性能衰减分析、特征重要性变化等。
- PSI:是群体稳定性分析中最常用、最直观的量化指标,专门用于衡量分布偏移的程度。
下图展示了群体稳定性分析的整体框架以及 PSI 在其中所处的位置:
实践建议: 在搭建模型监控体系时,建议将 PSI 作为第一道防线。每周或每月计算一次模型评分和关键特征的 PSI,当 PSI 超过 0.1 时启动详细分析流程,超过 0.25 时立即触发模型回退或重新训练流程。
1.4 PSI 的典型应用场景对比
为了更清晰地理解 PSI 在不同场景下的使用方式,下表总结了三种常见应用场景的差异:
| 场景 | 计算对象 | 基准期 | 监控期 | 告警阈值 |
|---|---|---|---|---|
| 模型评分稳定性 | 模型输出的概率或分数 | 模型开发时的评分分布 | 当前生产环境的评分分布 | 0.1 / 0.25 |
| 特征分布漂移 | 单个特征(如年龄、收入) | 训练集的特征分布 | 线上实时特征分布 | 0.1 |
| 客群结构变化 | 客群标签或分群变量 | 历史稳定客群分布 | 当前进件客群分布 | 0.2 |
注意: PSI 阈值并非绝对标准。在业务波动较大的行业(如电商大促期间),可适当放宽阈值至 0.15~0.3;在监管要求严格的场景(如银行信贷),建议采用更严格的 0.1 阈值。