2. PSI 数学原理:从 KL 散度到分箱策略

PSI(Population Stability Index,群体稳定性指标)的核心是量化两个概率分布之间的差异程度。在模型监控中,这两个分布分别是期望分布(Expected Distribution)和实际分布(Actual Distribution)。本节从信息论中的 KL 散度出发,推导 PSI 的数学公式,并深入分析分箱策略对计算结果的影响。

2.1 从 KL 散度到 PSI 公式推导

KL 散度(Kullback-Leibler Divergence)衡量两个概率分布 P 和 Q 之间的不对称差异。对于离散分布,其定义为:

KL(P || Q) = Σ P(i) * log( P(i) / Q(i) )

KL 散度具有非对称性:KL(P||Q) ≠ KL(Q||P)。PSI 通过取两个方向 KL 散度的对称和来消除这种不对称性:

PSI = KL(P || Q) + KL(Q || P)
    = Σ P(i) * log( P(i) / Q(i) ) + Σ Q(i) * log( Q(i) / P(i) )
    = Σ [ P(i) - Q(i) ] * log( P(i) / Q(i) )

在实际应用中,P 代表实际分布(Actual),Q 代表期望分布(Expected)。因此 PSI 的最终计算公式为:

PSI = Σ (Actual_i - Expected_i) * ln( Actual_i / Expected_i )

其中 i 表示第 i 个分箱(bin),Actual_i 和 Expected_i 分别为该箱内的样本占比。

关键理解: PSI 本质上是两个分布之间“差异的加权和”。当两个分布完全一致时,每个箱的 Actual_i = Expected_i,PSI = 0。差异越大,PSI 值越高。

2.2 期望分布与实际分布的定义

分布类型 定义 典型来源 符号
期望分布(Expected) 模型训练或验证时,模型输出分数(或预测概率)的分布 训练集、验证集、模型开发阶段的 OOT 样本 Expected_i
实际分布(Actual) 模型上线后,当前监控周期内模型输出分数的分布 生产环境实时数据、月度/季度快照 Actual_i

两个分布均需经过分箱处理,将连续分数转换为离散的箱占比。每个箱的占比 = 该箱样本数 / 总样本数。

实践要点: 期望分布通常使用模型开发阶段的“基准样本”计算,一旦确定便固定不变。实际分布则随每个监控周期更新。如果期望分布频繁变更,将失去稳定性监控的意义。

2.3 分箱策略对 PSI 的影响

分箱(Binning)是将连续变量划分为若干离散区间(箱)的过程。分箱策略直接决定 PSI 计算的敏感度和稳定性。以下是三种主流分箱策略的对比:

分箱策略 方法描述 优点 缺点 适用场景
等距分箱 按分数区间等宽划分,如 [0-0.1), [0.1-0.2), ... 实现简单,箱边界固定 样本分布不均时,部分箱可能为空或样本极少 分数分布均匀的场景
等频分箱 按样本数量等分,每箱包含近似相同数量的样本 避免空箱,统计稳定性好 箱边界随分布变化而移动,可比性下降 分布偏态严重的场景
自定义分箱 基于业务知识或模型特性手动设定边界 业务可解释性强,边界固定 依赖专家经验,可能遗漏数据特征 有明确业务阈值的场景
常见陷阱: 使用等频分箱时,如果期望分布和实际分布的箱边界不同,PSI 计算将失去意义。务必保证两个分布使用完全相同的箱边界。通常的做法是:基于期望分布确定箱边界,然后将实际分布的样本映射到这些固定箱中。

2.4 分箱策略选择流程图

下图展示了分箱策略选择的决策流程,帮助你在实际项目中快速确定合适的分箱方法:

分箱策略选择决策流程 开始:确定分箱策略 分数分布是否近似均匀? (无严重偏态或长尾) 是 否 等距分箱 固定宽度区间 是否有明确业务阈值? 如信用评分分段 是 否 等频分箱 每箱样本数近似相等 自定义分箱 基于业务规则设定边界 等频分箱 默认回退方案 确定箱边界,固定用于 PSI 计算 完成分箱策略选择

2.5 分箱数量对 PSI 的影响

除了分箱策略,分箱数量也是影响 PSI 结果的关键参数。下表总结了不同分箱数量的影响:

分箱数量 PSI 敏感度 统计稳定性 常见取值 建议
过少(< 5) 低:可能掩盖局部漂移 高:每箱样本充足 3-4 箱 仅用于快速粗略检查
适中(5-15) 适中:能捕捉主要漂移 高:样本分布合理 10 箱(行业默认) 推荐使用
过多(> 20) 高:对微小变化敏感 低:部分箱可能样本稀疏 20-30 箱 需配合大样本量使用
行业最佳实践: 大多数金融机构和风控模型默认使用 10 箱等距分箱。这一选择在敏感度和稳定性之间取得了良好平衡。如果样本量超过 10 万,可考虑增加至 15-20 箱以提升敏感度。

2.6 分箱边界固定原则

无论选择哪种分箱策略,都必须遵守以下固定边界原则:

  1. 基于期望分布确定箱边界:使用训练集或验证集的分数分布计算分箱边界。
  2. 固定边界用于所有后续监控:所有实际分布必须映射到相同的箱边界上。
  3. 处理空箱:如果某个箱在实际分布中样本数为 0,通常将该箱占比设为极小值(如 0.0001)以避免除零错误。
  4. 记录边界元数据:在模型监控配置中保存箱边界、分箱策略、分箱数量等元数据,确保可复现。
严重警告: 如果每次计算 PSI 时都重新分箱(尤其是等频分箱),会导致箱边界随分布变化而移动,PSI 将失去可比性。这相当于“移动标尺去量变化的物体”,结果毫无意义。务必固定箱边界!