2. PSI基础概念:PSI的计算公式、分箱方法(等距/等频)、PSI阈值的行业标准(0.1/0.25)
2.1 群体稳定性指标(PSI)的定义与核心作用
群体稳定性指标(Population Stability Index,PSI)是衡量两个样本分布之间差异程度的量化指标。在数据质量与风控建模领域,PSI 主要用于监控模型评分或特征分布在时间维度上的变化,是判断模型是否发生“漂移”的核心工具。
核心作用:当模型上线后,PSI 能够定量评估当前样本(OOT/验证集)与建模样本(训练集/基准集)之间的分布偏移程度,从而触发模型重训或特征排查流程。
2.2 PSI计算公式详解
PSI 的计算基于信息论中的 KL 散度(Kullback-Leibler divergence)变体,其标准公式如下:
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
其中:
- P_i = 第 i 个分箱中实际样本(当前分布)的占比
- Q_i = 第 i 个分箱中预期样本(基准分布)的占比
- i = 1, 2, ..., n(n 为分箱总数)
计算步骤分为三步:
- 分箱:将基准分布和当前分布按相同规则划分为 n 个区间。
- 计算占比:分别计算每个区间内样本数量占总样本数的比例(P_i 和 Q_i)。
- 累加求和:对每个区间计算 (P_i - Q_i) * ln(P_i / Q_i),并将所有区间的结果相加。
注意事项:当 Q_i = 0 时,ln(P_i / Q_i) 无定义。实际处理中,通常对占比进行微小平滑处理(如加 0.0001),或直接将该区间合并到相邻区间。
2.3 分箱方法:等距分箱 vs 等频分箱
分箱是 PSI 计算的前置步骤,分箱方式直接影响 PSI 值的敏感度和稳定性。行业中最常用的两种分箱方法对比如下:
| 对比维度 | 等距分箱(Equal Width) | 等频分箱(Equal Frequency) |
|---|---|---|
| 分箱规则 | 将数值范围等分为 k 个宽度相同的区间 | 将样本按数值排序后,使每个区间包含大致相同数量的样本 |
| 适用场景 | 分布均匀、无极端值的连续变量 | 分布偏斜、存在长尾或极端值的变量 |
| 优点 | 区间边界固定,便于跨时间对比 | 避免空箱问题,对稀疏分布更鲁棒 |
| 缺点 | 容易产生空箱或样本极少的区间 | 区间边界随样本分布变化,跨时间可比性略差 |
| 推荐箱数 | 10 箱(行业默认) | 10 箱(行业默认) |
规则冲突提示:当特征分布发生结构性偏移时,等距分箱可能因空箱增多导致 PSI 被低估;而等频分箱可能因区间边界移动掩盖局部漂移。在排查规则冲突导致的 PSI 漂移时,建议同时计算两种分箱方式的 PSI,取较大值作为预警依据。
2.4 PSI阈值的行业标准
PSI 的数值大小直接对应模型稳定性的等级。经过多年行业实践,形成了以下公认的判断标准:
| PSI 取值范围 | 稳定性等级 | 建议行动 |
|---|---|---|
| PSI < 0.1 | 稳定(无显著漂移) | 无需干预,模型可继续使用 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移(需关注) | 排查特征分布变化,评估是否需要调整 |
| PSI ≥ 0.25 | 严重漂移(需立即行动) | 停止模型使用,启动重训或特征重构 |
阈值来源:0.1 和 0.25 这两个阈值最早由信用评分卡行业提出,后被广泛应用于风控、营销、推荐等领域的模型监控。0.1 对应分布变化约 10% 的容忍度,0.25 对应约 25% 的容忍度。
2.5 规则冲突场景下的PSI阈值应用
在规则冲突导致 PSI 漂移的排查中,阈值的使用需要结合业务上下文:
- 全局 PSI < 0.1:即使存在规则冲突,对整体分布影响较小,可暂不处理。
- 0.1 ≤ 全局 PSI < 0.25:需要逐特征计算 PSI,定位导致漂移的具体规则冲突点。
- 全局 PSI ≥ 0.25:规则冲突已造成系统性分布偏移,必须立即回溯规则变更记录。
实战技巧:在规则冲突排查中,建议将 PSI 阈值下调 20%(即 0.08 和 0.20)作为内部预警线,因为规则冲突导致的漂移往往具有突发性和局部性,更早发现可以降低修复成本。
2.6 常见误区与避坑指南
| 误区 | 正确做法 |
|---|---|
| PSI 只计算一次,忽略时间窗口 | 按天/周/月滚动计算 PSI,观察趋势而非单点值 |
| 所有特征使用相同分箱方式 | 根据特征分布特性选择等距或等频,必要时两者都算 |
| PSI < 0.1 就认为绝对安全 | 规则冲突可能局部放大,需结合特征级 PSI 和业务规则日志综合判断 |
| 忽略样本量对 PSI 的影响 | 样本量过小时 PSI 波动大,建议单箱样本量不低于 50 |
规则冲突排查特别提醒:当多个规则同时变更时,全局 PSI 可能因正负抵消而表现正常(PSI < 0.1),但局部特征已发生严重漂移。此时必须结合特征级 PSI 和规则生效时间线进行交叉验证,避免漏判。