2. PSI计算公式详解:分箱原理与连续变量离散化

PSI(Population Stability Index,群体稳定性指标)是衡量模型评分分布随时间或样本集变化程度的量化工具。其核心公式基于信息论中的KL散度(Kullback-Leibler divergence)对称化处理,通过逐箱比较实际分布与预期分布的差异,最终累加得到单一漂移度量值。

2.1 PSI数学公式拆解

PSI的标准计算公式如下:

PSI = Σ [ (Actual_i - Expected_i) * ln(Actual_i / Expected_i) ]

其中:
- i = 第i个分箱(bin),i = 1, 2, ..., n
- Actual_i = 第i箱中实际样本占比(如当前月份评分卡样本分布)
- Expected_i = 第i箱中预期样本占比(如模型开发时的基准分布)
- ln = 自然对数
- Σ = 对所有分箱求和

公式由三个关键部分构成:

组成部分 数学含义 业务解读
(Actual_i - Expected_i) 实际占比与预期占比的差值 衡量该箱内分布偏移的方向与幅度;正数表示实际占比上升,负数表示下降
ln(Actual_i / Expected_i) 实际占比与预期占比比值的自然对数 衡量偏移的相对比例;比值越偏离1,对数绝对值越大,对PSI贡献越显著
乘积与求和 逐箱乘积后累加 将方向性差值与非对称权重结合,最终得到无量纲的总体漂移指数
关键理解: PSI并非简单的占比差绝对值求和。当实际占比远大于预期占比时,ln(Actual/Expected)为正且较大,乘积放大正向偏移;反之,当实际占比远小于预期占比时,ln(Actual/Expected)为负,乘积为负值,但绝对值同样放大偏移。这种非对称加权使得PSI对尾部极端偏移尤为敏感。

2.2 分箱原理:为什么需要离散化

PSI的计算前提是变量已被离散化为有限个区间(分箱)。连续变量不能直接代入PSI公式,原因如下:

  • 概率密度不可比: 连续变量的概率密度函数是连续的,无法直接计算“占比”这一离散概率值。
  • 样本稀疏性: 连续变量的每个取值可能只对应极少数样本,直接计算会导致占比为0或极小值,使ln(0)无定义。
  • 业务可解释性: 分箱后的区间(如“评分300-400”、“评分400-500”)具有明确的业务含义,便于风控人员理解漂移发生在哪个分数段。

分箱的本质是将连续变量的取值范围划分为互斥且穷尽的区间,每个区间内的样本被赋予相同的类别标签,从而将连续分布转化为离散概率分布。

2.3 连续变量离散化的常用方法

分箱方法 原理 适用场景 注意事项
等距分箱 将变量取值范围等分为k个区间,每个区间宽度相同 变量分布均匀、无极端异常值 若数据分布偏斜,部分箱可能样本极少
等频分箱 将样本按变量值排序后等分为k组,每组样本数相同 需要保证每箱样本量均衡,避免稀疏箱 边界值可能落在密集区域,导致相邻箱区分度不足
最优分箱(决策树分箱) 利用决策树或卡方检验,寻找使目标变量区分度最大的切分点 建模阶段,需要与目标变量(如好坏标签)强关联 计算成本较高,且可能过拟合训练集
业务经验分箱 根据业务规则或监管要求划定固定区间 评分卡、信用评级等有明确业务阈值的场景 灵活性低,但可解释性最强
实践建议: 在PSI监控场景中,推荐使用等频分箱作为默认方案。等频分箱能保证每箱样本量充足,避免因稀疏箱导致ln(0)或占比波动过大。通常分箱数量建议在5~20箱之间,评分卡场景常用10箱。

2.4 分箱数量与PSI敏感度

分箱数量直接影响PSI的计算结果和漂移检测敏感度:

  • 分箱过少(如2~3箱): 粗粒度的分箱会掩盖箱内分布变化,PSI值偏低,容易漏报漂移。
  • 分箱过多(如30箱以上): 每箱样本量减少,随机波动被放大,PSI值虚高,容易误报漂移。
  • 最优区间: 经验表明,10箱等频分箱在大多数场景下能平衡敏感度与稳定性,是行业通用标准。
PSI分箱原理与离散化流程 连续变量原始分布 评分:300~900 样本量:100,000 分布形态:右偏 无法直接计算PSI 离散化 分箱处理 等频分箱(10箱) 每箱约10,000样本 区间边界确定 样本归箱统计 计算占比 离散概率分布 箱1: 300-420 → 10% 箱2: 420-510 → 10% ... 箱10: 780-900 → 10% PSI = Σ [ (Actual_i - Expected_i) × ln(Actual_i / Expected_i) ] 逐箱计算差值 × 对数比值 → 累加得到总体漂移指数 分箱核心原则 每箱样本量充足(≥1000) | 箱数适中(5~20箱) | 区间互斥且穷尽 | 保持业务可解释性

2.5 分箱边界对齐:跨时间漂移计算的前提

在计算PSI时,预期分布和实际分布必须使用完全相同的分箱边界。这意味着:

  • 基准期(如模型开发时)确定的分箱边界(如评分区间[300,420)、[420,510)等)被固定下来。
  • 监控期(如当前月份)的样本按照基准期的边界进行归箱,而不是重新分箱。
  • 如果监控期样本在某箱内数量为0,则该箱的Actual_i = 0%,此时ln(0)无定义。实践中需做平滑处理(如加极小值ε)。
常见错误: 在监控期重新进行等频分箱,导致分箱边界与基准期不一致。这会使得PSI计算失去基准参照,结果不可比。正确的做法是:基准期确定边界后,监控期直接套用该边界进行样本归箱统计。

2.6 PSI计算示例(10箱等频分箱)

以下为一个简化的PSI计算示例,展示逐箱计算过程:

分箱编号 评分区间 预期占比 (Expected_i) 实际占比 (Actual_i) 差值 (A-E) ln(A/E) 单箱PSI贡献
1 300-420 10.0% 8.5% -1.5% -0.1625 0.00244
2 420-510 10.0% 9.2% -0.8% -0.0834 0.00067
3 510-580 10.0% 10.5% +0.5% +0.0488 0.00024
4 580-640 10.0% 11.8% +1.8% +0.1655 0.00298
5 640-690 10.0% 12.0% +2.0% +0.1823 0.00365
6 690-730 10.0% 11.0% +1.0% +0.0953 0.00095
7 730-770 10.0% 10.2% +0.2% +0.0198 0.00004
8 770-810 10.0% 9.5% -0.5% -0.0513 0.00026
9 810-850 10.0% 8.8% -1.2% -0.1278 0.00153
10 850-900 10.0% 8.5% -1.5% -0.1625 0.00244
PSI总和 0.01520
结果解读: 该示例PSI = 0.0152(即1.52%)。根据行业通用阈值,PSI < 0.10 表示分布无显著变化,0.10 ≤ PSI < 0.25 表示轻度漂移需关注,PSI ≥ 0.25 表示显著漂移需立即排查。该示例PSI远低于0.10,说明实际分布与预期分布高度一致。

2.7 分箱中的特殊处理:零占比与极小值

当某个分箱在实际分布或预期分布中出现占比为0时,ln(0)无数学定义。常见处理方式包括:

  • 加极小值平滑: 对每个占比加上一个极小常数ε(如0.0001),再计算对数。该方法简单但会引入微小偏差。
  • 合并稀疏箱: 将样本量过少的箱与相邻箱合并,保证每箱占比不低于某个阈值(如1%)。
  • 忽略零占比箱: 当某箱在预期和实际中占比均为0时,该箱对PSI无贡献,可直接跳过。
工程实践: 在自动化PSI监控系统中,推荐采用“加极小值平滑 + 箱合并”的组合策略。先设定最小占比阈值(如0.5%),低于阈值的箱自动与相邻箱合并;合并后若仍有零占比,则加ε=1e-6进行平滑。该策略能有效避免PSI计算异常,同时保持对真实漂移的敏感度。