2. PSI指标基础:群体稳定性指标(PSI)的数学定义、计算公式推导、分箱方法详解
2.1 群体稳定性指标(PSI)的数学定义
群体稳定性指标(Population Stability Index,PSI)是衡量两个样本分布之间差异程度的统计量,在反洗钱监测中用于评估模型评分或特征分布在时间维度上的变化幅度。PSI 的核心思想是比较“预期分布”(通常为建模时的基准分布)与“实际分布”(当前监测周期的分布)之间的偏移程度。
从信息论角度看,PSI 基于 Kullback-Leibler 散度(KL 散度)的对称化变体,其数学定义为:
PSI = Σ (Aᵢ - Bᵢ) × ln(Aᵢ / Bᵢ)
其中:
- Aᵢ:实际分布在第 i 个分箱中的样本占比(当前期)
- Bᵢ:预期分布在第 i 个分箱中的样本占比(基准期)
- ln:自然对数
- Σ:对所有分箱求和
关键理解: PSI 本质上是两个概率分布之间“距离”的度量。当 Aᵢ 与 Bᵢ 完全一致时,每个分箱的贡献为 0,PSI = 0;差异越大,PSI 值越高。
2.2 计算公式的逐步推导
PSI 的推导可以从 KL 散度出发,理解其对称化过程。以下为推导步骤:
- KL 散度定义:衡量分布 P 相对于分布 Q 的信息损失。
KL(P||Q) = Σ Pᵢ × ln(Pᵢ / Qᵢ) - 对称化处理:KL 散度是非对称的(KL(P||Q) ≠ KL(Q||P))。PSI 采用对称化形式:
PSI = KL(A||B) + KL(B||A) - 展开对称化公式:
PSI = Σ Aᵢ × ln(Aᵢ / Bᵢ) + Σ Bᵢ × ln(Bᵢ / Aᵢ) - 合并为单一求和:利用 ln(Bᵢ / Aᵢ) = -ln(Aᵢ / Bᵢ),得到:
PSI = Σ (Aᵢ - Bᵢ) × ln(Aᵢ / Bᵢ)
实战提示:在反洗钱监测中,通常使用简化后的最终公式直接计算。当某个分箱中 Bᵢ = 0 时,为避免除零错误,需对占比做微小平滑处理(如加 0.0001 或采用 Laplace 平滑)。
2.3 分箱方法详解
分箱是 PSI 计算的前置步骤,直接影响指标的敏感性和稳定性。分箱的目的是将连续变量或离散变量划分为若干区间,使每个区间内的样本占比可被稳定估计。常用的分箱方法有以下四种:
| 分箱方法 | 原理 | 适用场景 | 注意事项 |
|---|---|---|---|
| 等距分箱 | 将变量取值范围等分为 k 个区间 | 变量分布均匀,无极端值 | 极端值可能导致空箱 |
| 等频分箱 | 使每个区间包含大致相等的样本量 | 分布偏态、长尾数据 | 区间边界可能不直观 |
| 决策树分箱 | 利用决策树算法寻找最优切分点 | 需要最大化组间差异 | 计算成本较高 |
| 自定义分箱 | 基于业务知识设定区间边界 | 业务含义明确的场景 | 依赖专家经验 |
2.4 分箱数量与边界对齐规则
分箱数量(k 值)的选择对 PSI 结果有显著影响。以下是行业实践中的推荐规则:
- 分箱数量:通常取 10~20 箱。过少会掩盖局部偏移,过多会导致噪声放大。
- 边界对齐:基准期和实际期必须使用完全相同的分箱边界,否则 PSI 计算无效。
- 最小占比阈值:每个分箱的样本占比不应低于 1%,否则需合并相邻箱体。
- 空箱处理:若某分箱在实际期或基准期占比为 0,需进行平滑处理(如加 0.0001 后重新归一化)。
常见错误:直接使用等距分箱对评分卡输出(通常集中在 300~700 分)进行分箱,会导致两端出现大量空箱,PSI 被严重低估。建议优先使用等频分箱或基于基准期百分位数的分箱方法。
2.5 PSI 计算流程与分箱关系图
下图展示了从原始数据到 PSI 值的完整计算流程,重点突出分箱环节在整个链路中的位置:
2.6 分箱效果对比示例
以下通过一个模拟的评分卡数据(评分范围 300~850 分),对比等距分箱与等频分箱的效果差异:
| 分箱方法 | 分箱区间 | 基准期占比 Bᵢ | 实际期占比 Aᵢ | 单箱 PSI 贡献 |
|---|---|---|---|---|
| 等距分箱 | [300, 483) | 5.2% | 8.1% | 0.0087 |
| [483, 666) | 22.3% | 25.6% | 0.0024 | |
| [666, 850] | 72.5% | 66.3% | 0.0051 | |
| 等距 PSI 合计 | 0.0162 | |||
| 等频分箱 | [300, 580) | 33.3% | 28.7% | 0.0038 |
| [580, 680) | 33.3% | 35.2% | 0.0011 | |
| [680, 850] | 33.3% | 36.1% | 0.0012 | |
| 等频 PSI 合计 | 0.0061 | |||
分析结论:等距分箱因评分集中在高端区间,导致 PSI 被低端空箱稀释,整体值偏低;等频分箱使每个区间样本量均衡,更能敏感捕捉分布偏移。在反洗钱监测中,推荐优先使用等频分箱或基于基准期百分位数的分箱方法。
2.7 PSI 分箱边界对齐示意图
下图展示了基准期和实际期使用相同分箱边界进行对齐的机制,以及空箱平滑处理的必要性:
2.8 分箱方法选择决策树
在实际项目中,可按以下决策逻辑选择分箱方法:
- 数据是否有明确的业务含义区间?
- 是 → 使用自定义分箱(如评分卡按“拒绝/观察/通过”分段)
- 否 → 进入下一步
- 数据分布是否接近均匀?
- 是 → 使用等距分箱(简单直观)
- 否 → 进入下一步
- 是否需要最大化分箱区分度?
- 是 → 使用决策树分箱(计算资源充足时)
- 否 → 使用等频分箱(推荐默认方案)
实战建议:在反洗钱监测系统中,建议将分箱逻辑封装为可配置模块,支持按特征类型自动选择分箱方法。对于评分卡输出,默认使用等频分箱(k=10);对于交易金额等长尾特征,使用等频分箱并设置上限截断。