2. PSI 数学原理:从 KL 散度到分箱策略
PSI(Population Stability Index,群体稳定性指标)的核心是量化两个概率分布之间的差异程度。在模型监控中,这两个分布分别是期望分布(Expected Distribution)和实际分布(Actual Distribution)。本节从信息论中的 KL 散度出发,推导 PSI 的数学公式,并深入分析分箱策略对计算结果的影响。
2.1 从 KL 散度到 PSI 公式推导
KL 散度(Kullback-Leibler Divergence)衡量两个概率分布 P 和 Q 之间的不对称差异。对于离散分布,其定义为:
KL(P || Q) = Σ P(i) * log( P(i) / Q(i) )
KL 散度具有非对称性:KL(P||Q) ≠ KL(Q||P)。PSI 通过取两个方向 KL 散度的对称和来消除这种不对称性:
PSI = KL(P || Q) + KL(Q || P)
= Σ P(i) * log( P(i) / Q(i) ) + Σ Q(i) * log( Q(i) / P(i) )
= Σ [ P(i) - Q(i) ] * log( P(i) / Q(i) )
在实际应用中,P 代表实际分布(Actual),Q 代表期望分布(Expected)。因此 PSI 的最终计算公式为:
PSI = Σ (Actual_i - Expected_i) * ln( Actual_i / Expected_i )
其中 i 表示第 i 个分箱(bin),Actual_i 和 Expected_i 分别为该箱内的样本占比。
关键理解: PSI 本质上是两个分布之间“差异的加权和”。当两个分布完全一致时,每个箱的 Actual_i = Expected_i,PSI = 0。差异越大,PSI 值越高。
2.2 期望分布与实际分布的定义
| 分布类型 | 定义 | 典型来源 | 符号 |
|---|---|---|---|
| 期望分布(Expected) | 模型训练或验证时,模型输出分数(或预测概率)的分布 | 训练集、验证集、模型开发阶段的 OOT 样本 | Expected_i |
| 实际分布(Actual) | 模型上线后,当前监控周期内模型输出分数的分布 | 生产环境实时数据、月度/季度快照 | Actual_i |
两个分布均需经过分箱处理,将连续分数转换为离散的箱占比。每个箱的占比 = 该箱样本数 / 总样本数。
实践要点: 期望分布通常使用模型开发阶段的“基准样本”计算,一旦确定便固定不变。实际分布则随每个监控周期更新。如果期望分布频繁变更,将失去稳定性监控的意义。
2.3 分箱策略对 PSI 的影响
分箱(Binning)是将连续变量划分为若干离散区间(箱)的过程。分箱策略直接决定 PSI 计算的敏感度和稳定性。以下是三种主流分箱策略的对比:
| 分箱策略 | 方法描述 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 等距分箱 | 按分数区间等宽划分,如 [0-0.1), [0.1-0.2), ... | 实现简单,箱边界固定 | 样本分布不均时,部分箱可能为空或样本极少 | 分数分布均匀的场景 |
| 等频分箱 | 按样本数量等分,每箱包含近似相同数量的样本 | 避免空箱,统计稳定性好 | 箱边界随分布变化而移动,可比性下降 | 分布偏态严重的场景 |
| 自定义分箱 | 基于业务知识或模型特性手动设定边界 | 业务可解释性强,边界固定 | 依赖专家经验,可能遗漏数据特征 | 有明确业务阈值的场景 |
常见陷阱: 使用等频分箱时,如果期望分布和实际分布的箱边界不同,PSI 计算将失去意义。务必保证两个分布使用完全相同的箱边界。通常的做法是:基于期望分布确定箱边界,然后将实际分布的样本映射到这些固定箱中。
2.4 分箱策略选择流程图
下图展示了分箱策略选择的决策流程,帮助你在实际项目中快速确定合适的分箱方法:
2.5 分箱数量对 PSI 的影响
除了分箱策略,分箱数量也是影响 PSI 结果的关键参数。下表总结了不同分箱数量的影响:
| 分箱数量 | PSI 敏感度 | 统计稳定性 | 常见取值 | 建议 |
|---|---|---|---|---|
| 过少(< 5) | 低:可能掩盖局部漂移 | 高:每箱样本充足 | 3-4 箱 | 仅用于快速粗略检查 |
| 适中(5-15) | 适中:能捕捉主要漂移 | 高:样本分布合理 | 10 箱(行业默认) | 推荐使用 |
| 过多(> 20) | 高:对微小变化敏感 | 低:部分箱可能样本稀疏 | 20-30 箱 | 需配合大样本量使用 |
行业最佳实践: 大多数金融机构和风控模型默认使用 10 箱等距分箱。这一选择在敏感度和稳定性之间取得了良好平衡。如果样本量超过 10 万,可考虑增加至 15-20 箱以提升敏感度。
2.6 分箱边界固定原则
无论选择哪种分箱策略,都必须遵守以下固定边界原则:
- 基于期望分布确定箱边界:使用训练集或验证集的分数分布计算分箱边界。
- 固定边界用于所有后续监控:所有实际分布必须映射到相同的箱边界上。
- 处理空箱:如果某个箱在实际分布中样本数为 0,通常将该箱占比设为极小值(如 0.0001)以避免除零错误。
- 记录边界元数据:在模型监控配置中保存箱边界、分箱策略、分箱数量等元数据,确保可复现。
严重警告: 如果每次计算 PSI 时都重新分箱(尤其是等频分箱),会导致箱边界随分布变化而移动,PSI 将失去可比性。这相当于“移动标尺去量变化的物体”,结果毫无意义。务必固定箱边界!