2. PSI计算公式详解:分箱原理与连续变量离散化
PSI(Population Stability Index,群体稳定性指标)是衡量模型评分分布随时间或样本集变化程度的量化工具。其核心公式基于信息论中的KL散度(Kullback-Leibler divergence)对称化处理,通过逐箱比较实际分布与预期分布的差异,最终累加得到单一漂移度量值。
2.1 PSI数学公式拆解
PSI的标准计算公式如下:
PSI = Σ [ (Actual_i - Expected_i) * ln(Actual_i / Expected_i) ]
其中:
- i = 第i个分箱(bin),i = 1, 2, ..., n
- Actual_i = 第i箱中实际样本占比(如当前月份评分卡样本分布)
- Expected_i = 第i箱中预期样本占比(如模型开发时的基准分布)
- ln = 自然对数
- Σ = 对所有分箱求和
公式由三个关键部分构成:
| 组成部分 | 数学含义 | 业务解读 |
|---|---|---|
| (Actual_i - Expected_i) | 实际占比与预期占比的差值 | 衡量该箱内分布偏移的方向与幅度;正数表示实际占比上升,负数表示下降 |
| ln(Actual_i / Expected_i) | 实际占比与预期占比比值的自然对数 | 衡量偏移的相对比例;比值越偏离1,对数绝对值越大,对PSI贡献越显著 |
| 乘积与求和 | 逐箱乘积后累加 | 将方向性差值与非对称权重结合,最终得到无量纲的总体漂移指数 |
关键理解: PSI并非简单的占比差绝对值求和。当实际占比远大于预期占比时,ln(Actual/Expected)为正且较大,乘积放大正向偏移;反之,当实际占比远小于预期占比时,ln(Actual/Expected)为负,乘积为负值,但绝对值同样放大偏移。这种非对称加权使得PSI对尾部极端偏移尤为敏感。
2.2 分箱原理:为什么需要离散化
PSI的计算前提是变量已被离散化为有限个区间(分箱)。连续变量不能直接代入PSI公式,原因如下:
- 概率密度不可比: 连续变量的概率密度函数是连续的,无法直接计算“占比”这一离散概率值。
- 样本稀疏性: 连续变量的每个取值可能只对应极少数样本,直接计算会导致占比为0或极小值,使ln(0)无定义。
- 业务可解释性: 分箱后的区间(如“评分300-400”、“评分400-500”)具有明确的业务含义,便于风控人员理解漂移发生在哪个分数段。
分箱的本质是将连续变量的取值范围划分为互斥且穷尽的区间,每个区间内的样本被赋予相同的类别标签,从而将连续分布转化为离散概率分布。
2.3 连续变量离散化的常用方法
| 分箱方法 | 原理 | 适用场景 | 注意事项 |
|---|---|---|---|
| 等距分箱 | 将变量取值范围等分为k个区间,每个区间宽度相同 | 变量分布均匀、无极端异常值 | 若数据分布偏斜,部分箱可能样本极少 |
| 等频分箱 | 将样本按变量值排序后等分为k组,每组样本数相同 | 需要保证每箱样本量均衡,避免稀疏箱 | 边界值可能落在密集区域,导致相邻箱区分度不足 |
| 最优分箱(决策树分箱) | 利用决策树或卡方检验,寻找使目标变量区分度最大的切分点 | 建模阶段,需要与目标变量(如好坏标签)强关联 | 计算成本较高,且可能过拟合训练集 |
| 业务经验分箱 | 根据业务规则或监管要求划定固定区间 | 评分卡、信用评级等有明确业务阈值的场景 | 灵活性低,但可解释性最强 |
实践建议: 在PSI监控场景中,推荐使用等频分箱作为默认方案。等频分箱能保证每箱样本量充足,避免因稀疏箱导致ln(0)或占比波动过大。通常分箱数量建议在5~20箱之间,评分卡场景常用10箱。
2.4 分箱数量与PSI敏感度
分箱数量直接影响PSI的计算结果和漂移检测敏感度:
- 分箱过少(如2~3箱): 粗粒度的分箱会掩盖箱内分布变化,PSI值偏低,容易漏报漂移。
- 分箱过多(如30箱以上): 每箱样本量减少,随机波动被放大,PSI值虚高,容易误报漂移。
- 最优区间: 经验表明,10箱等频分箱在大多数场景下能平衡敏感度与稳定性,是行业通用标准。
2.5 分箱边界对齐:跨时间漂移计算的前提
在计算PSI时,预期分布和实际分布必须使用完全相同的分箱边界。这意味着:
- 基准期(如模型开发时)确定的分箱边界(如评分区间[300,420)、[420,510)等)被固定下来。
- 监控期(如当前月份)的样本按照基准期的边界进行归箱,而不是重新分箱。
- 如果监控期样本在某箱内数量为0,则该箱的Actual_i = 0%,此时ln(0)无定义。实践中需做平滑处理(如加极小值ε)。
常见错误: 在监控期重新进行等频分箱,导致分箱边界与基准期不一致。这会使得PSI计算失去基准参照,结果不可比。正确的做法是:基准期确定边界后,监控期直接套用该边界进行样本归箱统计。
2.6 PSI计算示例(10箱等频分箱)
以下为一个简化的PSI计算示例,展示逐箱计算过程:
| 分箱编号 | 评分区间 | 预期占比 (Expected_i) | 实际占比 (Actual_i) | 差值 (A-E) | ln(A/E) | 单箱PSI贡献 |
|---|---|---|---|---|---|---|
| 1 | 300-420 | 10.0% | 8.5% | -1.5% | -0.1625 | 0.00244 |
| 2 | 420-510 | 10.0% | 9.2% | -0.8% | -0.0834 | 0.00067 |
| 3 | 510-580 | 10.0% | 10.5% | +0.5% | +0.0488 | 0.00024 |
| 4 | 580-640 | 10.0% | 11.8% | +1.8% | +0.1655 | 0.00298 |
| 5 | 640-690 | 10.0% | 12.0% | +2.0% | +0.1823 | 0.00365 |
| 6 | 690-730 | 10.0% | 11.0% | +1.0% | +0.0953 | 0.00095 |
| 7 | 730-770 | 10.0% | 10.2% | +0.2% | +0.0198 | 0.00004 |
| 8 | 770-810 | 10.0% | 9.5% | -0.5% | -0.0513 | 0.00026 |
| 9 | 810-850 | 10.0% | 8.8% | -1.2% | -0.1278 | 0.00153 |
| 10 | 850-900 | 10.0% | 8.5% | -1.5% | -0.1625 | 0.00244 |
| PSI总和 | 0.01520 | |||||
结果解读: 该示例PSI = 0.0152(即1.52%)。根据行业通用阈值,PSI < 0.10 表示分布无显著变化,0.10 ≤ PSI < 0.25 表示轻度漂移需关注,PSI ≥ 0.25 表示显著漂移需立即排查。该示例PSI远低于0.10,说明实际分布与预期分布高度一致。
2.7 分箱中的特殊处理:零占比与极小值
当某个分箱在实际分布或预期分布中出现占比为0时,ln(0)无数学定义。常见处理方式包括:
- 加极小值平滑: 对每个占比加上一个极小常数ε(如0.0001),再计算对数。该方法简单但会引入微小偏差。
- 合并稀疏箱: 将样本量过少的箱与相邻箱合并,保证每箱占比不低于某个阈值(如1%)。
- 忽略零占比箱: 当某箱在预期和实际中占比均为0时,该箱对PSI无贡献,可直接跳过。
工程实践: 在自动化PSI监控系统中,推荐采用“加极小值平滑 + 箱合并”的组合策略。先设定最小占比阈值(如0.5%),低于阈值的箱自动与相邻箱合并;合并后若仍有零占比,则加ε=1e-6进行平滑。该策略能有效避免PSI计算异常,同时保持对真实漂移的敏感度。