风控规则引擎PSI监控从入门到实战 - 第2节
2.1 PSI 的定义:群体稳定性指标
PSI(Population Stability Index,群体稳定性指标)是衡量两个样本分布之间差异程度的统计量。在风控领域,它被广泛用于监控模型评分、特征变量或业务指标在时间维度上的分布偏移情况。
简单来说,PSI 回答了这样一个问题:“今天的样本分布,和建模时的样本分布,还像吗?” 如果分布发生了显著变化,说明模型赖以生存的“环境”已经改变,模型输出的可信度需要重新评估。
核心思想: PSI 并非衡量模型预测“准不准”,而是衡量模型输入或输出的分布“稳不稳”。一个稳定的模型,其评分分布在不同时间窗口内应保持基本一致。
2.1.1 为什么风控需要 PSI?
风控模型通常基于历史样本(开发样本)训练而成。当模型上线后,实际业务环境会不断变化:
- 客群迁移: 营销活动引入了一批信用特征不同的新用户。
- 政策变化: 监管要求调整,导致部分用户准入标准改变。
- 经济周期: 宏观经济下行,整体客群的还款能力下降。
- 数据源变更: 第三方数据接口升级,返回的字段分布发生变化。
这些变化都会导致模型输入特征或输出评分的分布发生偏移。如果不加监控,模型性能会悄然衰退,最终导致决策失误和资金损失。
2.2 PSI 的数学原理与计算公式
PSI 的计算基于信息论中的 KL 散度(Kullback-Leibler divergence) 思想,但做了对称化处理,使其更适用于实际工程监控。其计算公式如下:
PSI = Σ ( (实际占比_i - 预期占比_i) * ln(实际占比_i / 预期占比_i) )
其中:
- 预期占比(Expected): 基准分布(通常是建模时的开发样本)中,落在第 i 个分箱的样本比例。
- 实际占比(Actual): 当前监控周期内,落在第 i 个分箱的样本比例。
- ln: 自然对数。
- Σ: 对所有分箱求和。
2.2.1 计算步骤详解
以模型评分(0-100分)为例,PSI 的计算通常分为以下 5 个步骤:
- 分箱: 将评分区间划分为 K 个等宽或等频的区间(通常为 10 箱)。
- 计算预期占比: 统计开发样本在每个分箱中的样本数,除以总样本数,得到预期占比 P_i。
- 计算实际占比: 统计当前监控样本在每个分箱中的样本数,除以总样本数,得到实际占比 Q_i。
- 计算每个分箱的贡献值: (Q_i - P_i) * ln(Q_i / P_i)。
- 求和: 将所有分箱的贡献值相加,得到最终的 PSI 值。
注意事项: 当某个分箱的实际占比 Q_i 为 0 时,ln(0) 无定义。工程实践中通常对占比做微小平滑处理(如加 0.0001),或将该分箱与相邻分箱合并。
2.2.2 分箱方式对比
| 分箱方式 | 方法描述 | 优点 | 缺点 |
|---|---|---|---|
| 等宽分箱 | 将数值范围等分为 K 个宽度相同的区间 | 计算简单,区间边界固定 | 数据分布不均时,部分箱可能样本极少 |
| 等频分箱 | 按样本数量等分为 K 份,每份样本数大致相同 | 每个箱都有足够样本,统计稳定 | 区间边界随分布变化,不固定 |
| 自定义分箱 | 根据业务经验或风险等级划分区间 | 业务可解释性强 | 依赖专家经验,通用性差 |
推荐做法: 风控评分卡监控通常采用 等频分箱(10 箱),既能保证每个箱的统计稳定性,又能敏感捕捉尾部客群的偏移。
2.3 PSI 在风控中的典型应用场景
PSI 在风控规则引擎和模型监控体系中,主要有以下三大类应用场景:
2.3.1 模型评分稳定性监控
这是 PSI 最经典的应用。将模型输出的信用评分(Score)作为监控对象,以建模时的开发样本评分分布为基准,监控线上实时评分的分布偏移。
- 监控频率: 每日或每周。
- 阈值设定:
- PSI < 0.1:分布无显著变化,模型稳定。
- 0.1 ≤ PSI < 0.25:分布轻度偏移,需关注并排查原因。
- PSI ≥ 0.25:分布严重偏移,模型可能失效,需紧急干预。
- 触发动作: 告警通知、模型回滚、重新训练。
2.3.2 特征变量稳定性监控
模型输入特征的分布变化是模型衰退的“前兆”。对每个入模特征单独计算 PSI,可以提前发现数据源异常或客群迁移。
- 监控对象: 年龄、收入、负债率、征信查询次数等连续型特征。
- 优势: 比监控模型评分更敏感,能提前 1-2 周发现问题。
- 阈值: 通常比评分 PSI 更严格,建议 PSI < 0.05 为稳定。
2.3.3 规则命中率与拒绝率监控
风控规则引擎中的每条规则,其命中率本质上也是一个“分布”。当某条规则的命中率发生剧烈波动时,可能意味着规则逻辑失效或外部环境变化。
- 监控对象: 规则命中率、策略拒绝率、人工审核率。
- 计算方式: 将“命中/未命中”视为二分类分布,计算 PSI。
- 应用价值: 快速定位是哪些规则导致了通过率或拒绝率的异常波动。
常见误区: PSI 只能检测分布偏移,不能解释偏移的原因。当 PSI 告警时,需要结合特征重要性分析、业务日志排查等手段,才能定位根因。
2.4 本章小结
PSI 是风控模型和规则引擎监控体系中不可或缺的量化指标。通过本章的学习,你应该掌握:
- PSI 的定义: 衡量两个样本分布差异的统计量,反映群体稳定性。
- 计算公式: Σ (实际占比 - 预期占比) * ln(实际占比 / 预期占比)。
- 计算步骤: 分箱 → 计算预期占比 → 计算实际占比 → 计算贡献值 → 求和。
- 三大应用场景: 模型评分监控、特征变量监控、规则命中率监控。
- 阈值体系: 0.10 和 0.25 是通用的稳定/关注/告警分界线。