1. PSI 概念与背景:群体稳定性指标
1.1 什么是群体稳定性指标(PSI)
群体稳定性指标(Population Stability Index,PSI) 是衡量两个样本分布之间差异程度的统计量。在机器学习模型监控中,PSI 用于量化模型评分(预测概率或分数)在 开发样本 与 生产样本 之间的分布偏移程度。
PSI 的核心思想是:如果模型在训练时学到的数据分布与上线后实际遇到的数据分布保持一致,那么模型输出的分数分布也应保持稳定。当分布发生显著变化时,PSI 值会升高,提示模型可能已经失效或需要重新训练。
PSI 计算公式:
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
其中:
P_i = 实际样本(生产)在第 i 个分箱中的占比
Q_i = 期望样本(开发/训练)在第 i 个分箱中的占比
ln = 自然对数
分箱通常按等频或等距划分为 10 组
1.2 为什么在风控/信贷模型中 PSI 如此重要
在信贷风控领域,模型稳定性直接关系到 风险定价的准确性 和 业务决策的可靠性。以下是 PSI 在风控场景中的关键作用:
| 维度 | 说明 | 风险后果(PSI 过高时) |
|---|---|---|
| 客户群体漂移 | 申请客群随经济周期、政策、渠道变化而改变 | 模型对优质客户误判为高风险,导致拒贷率上升 |
| 评分卡失效 | 评分卡基于历史数据构建,分布偏移后区分度下降 | 坏账率上升,风险排序能力丧失 |
| 监管合规 | 监管要求模型在存续期内保持稳定可解释 | 模型无法通过审计,面临整改或下线处罚 |
| 策略误判 | 风控策略依赖模型分数阈值,分布偏移导致阈值失效 | 通过率异常波动,业务收入与风险失衡 |
⚠ 实战警示: 某头部消费金融公司曾因未监控 PSI,导致模型上线 3 个月后评分分布整体右移 0.3 个标准差,坏账率从 2.1% 飙升至 4.8%,直接损失超过 2000 万元。事后分析发现,渠道政策调整引入了大量优质客户,但模型仍按旧分布拒绝其中 30% 的申请。
1.3 PSI 与模型监控的关系
模型监控体系通常包含 性能监控、数据监控 和 稳定性监控 三大支柱。PSI 属于稳定性监控的核心指标,与其它监控维度的关系如下:
1.4 PSI 的典型阈值与解读
行业实践中,PSI 的阈值通常按以下标准进行风险分级:
| PSI 范围 | 稳定性等级 | 建议行动 |
|---|---|---|
| PSI < 0.10 | 稳定 | 无需干预,持续监控 |
| 0.10 ≤ PSI < 0.25 | 轻度偏移 | 发出预警,排查分布变化原因 |
| PSI ≥ 0.25 | 严重偏移 | 立即触发模型重训或回滚 |
💡 专业提示: 上述阈值是行业通用参考值,实际项目中应根据模型类型(评分卡、机器学习模型、深度学习模型)、业务场景(申请评分、行为评分、催收评分)以及监管要求进行动态调整。例如,监管类模型通常要求 PSI < 0.05 才视为稳定。
1.5 PSI 与其它稳定性指标的对比
除了 PSI,模型监控中还有其它分布偏移指标,理解它们的差异有助于选择合适的监控方案:
| 指标 | 核心思想 | 适用场景 | 对分布形状的敏感度 |
|---|---|---|---|
| PSI | 分箱后计算占比差异的加权和 | 评分/概率分布的整体偏移 | 中等(依赖分箱方式) |
| KS 统计量 | 两组样本累积分布的最大差异 | 区分度监控,好坏样本分离程度 | 高(对位置和形状敏感) |
| KL 散度 | 信息论中的分布差异度量 | 高维特征分布监控 | 高(对尾部差异敏感) |
| JS 散度 | KL 散度的对称化版本 | 需要对称度量的场景 | 高(有界且对称) |
1.6 本章小结
- PSI 定义: 衡量模型评分在开发样本与生产样本之间的分布偏移程度,是群体稳定性的量化指标。
- 风控重要性: 直接关联客户群体漂移、评分卡失效、监管合规和策略误判四大风险。
- 监控定位: PSI 是模型稳定性监控的核心,与性能监控、数据监控共同构成完整监控体系。
- 阈值分级: 行业通用标准为 <0.10(稳定)、0.10~0.25(预警)、≥0.25(严重),需结合实际业务调整。
- 指标对比: PSI 适合整体分布监控,KS 适合区分度监控,KL/JS 适合高维特征监控。