2. PSI 数学原理:公式推导与分箱对比逻辑

群体稳定性指标(Population Stability Index, PSI)是衡量两个分布之间差异的标准化度量。在模型监控中,它用于量化模型评分在 期望(训练集/基准期) 与 实际(生产/监控期) 之间的偏移程度。理解其数学推导是正确设置告警阈值的基础。

2.1 核心思想:从信息论到分布差异

PSI 的数学根源可追溯至 Kullback-Leibler 散度(KL 散度),但 PSI 对其进行了对称化处理,使其成为一个对称的、有界的度量指标。其核心逻辑是:将连续变量(如模型分数)离散化为若干个“箱”(bins),然后逐箱比较实际频率与期望频率的差异。

关键理解: PSI 不是直接比较原始分数,而是比较分数落入每个分箱的“占比”变化。这种分箱操作使得 PSI 对微小波动不敏感,但对分布的整体形状变化非常敏感。

2.2 PSI 计算公式推导

假设我们将模型分数划分为 n 个分箱。对于第 i 个分箱:

  • 实际频率(Actual %):A_i = 监控期中落入第 i 箱的样本数 / 监控期总样本数
  • 期望频率(Expected %):E_i = 训练期中落入第 i 箱的样本数 / 训练期总样本数

PSI 的完整计算公式如下:

PSI = Σ ( (A_i - E_i) * ln(A_i / E_i) )   (i = 1, 2, ..., n)

公式分解与推导逻辑:

  1. 成分项 (A_i - E_i): 衡量第 i 箱中实际占比与期望占比的绝对差异。差异越大,该箱对 PSI 的贡献越大。
  2. 权重项 ln(A_i / E_i): 这是对数比率,用于放大差异。当实际频率远大于期望频率(A_i >> E_i)或远小于期望频率(A_i << E_i)时,该权重会显著增大,从而对极端偏移给予更高的惩罚。
  3. 求和 Σ: 将所有分箱的贡献累加,得到最终的 PSI 值。
边界处理: 当 E_i = 0 时,ln(A_i / 0) 无定义。实际工程中,通常对频率进行平滑处理(如加一个小常数 ε = 1e-6),或强制将空箱与相邻箱合并。当 A_i = 0 时,ln(0 / E_i) 同样无定义,需做相同处理。

2.3 分箱策略:期望频率 vs 实际频率的对比逻辑

分箱是 PSI 计算的前提。不同的分箱策略会直接影响 PSI 的敏感度和稳定性。以下是两种主流策略的对比:

分箱策略 方法描述 优点 缺点 适用场景
等距分箱 将分数范围 [min, max] 均匀划分为 n 个宽度相同的区间。 实现简单,箱边界固定,易于解释。 样本分布不均时,某些箱可能样本极少或为空,导致 PSI 计算不稳定。 分数分布相对均匀,或需要固定阈值边界进行业务解释时。
等频分箱 基于训练集(期望)的分数分布,将样本均匀划分为 n 个箱,每个箱包含大致相同数量的样本。 每个箱都有足够的样本量,PSI 计算更稳健;对分布尾部变化更敏感。 箱边界随训练集变化,不同模型版本间边界可能不一致;对分布中心区域的微小变化不敏感。 最常用策略,尤其适用于模型监控,能有效避免空箱问题。

2.4 对比逻辑可视化:期望 vs 实际频率分布

下面的 SVG 图展示了等频分箱下,期望频率(蓝色)与实际频率(橙色)的对比逻辑。每个分箱的柱状高度代表该箱的样本占比,PSI 正是通过逐箱计算这两个占比的差异来量化整体偏移。

PSI 分箱对比逻辑:期望频率 vs 实际频率 期望频率 (E_i) 实际频率 (A_i) 箱1 E: 20% A: 30% 箱2 E: 25% A: 20% 箱3 E: 30% A: 25% 箱4 E: 15% A: 10% 箱5 E: 5% A: 15% 箱6 E: 2.5% A: 5% PSI = Σ (A_i - E_i) * ln(A_i / E_i) → 逐箱计算差异并求和

2.5 分箱数量与 PSI 敏感度

分箱数量 n 是一个关键超参数。它直接影响 PSI 对分布变化的敏感度:

  • 分箱过少(如 n=5): 对分布的整体形状变化敏感,但可能掩盖局部细微偏移。PSI 值通常较小,阈值设置可相对宽松。
  • 分箱过多(如 n=20): 对局部波动非常敏感,容易因随机噪声产生假阳性告警。PSI 值会偏大,阈值需相应收紧。
  • 行业经验: 在风控模型监控中,n=10 是使用最广泛的默认值,它在敏感度和稳定性之间取得了良好平衡。
实践建议: 在设置 PSI 告警阈值前,务必先确定分箱策略和分箱数量。建议在训练集上通过交叉验证,观察 PSI 在无漂移情况下的自然波动范围,以此作为阈值设定的基准。

2.6 对比逻辑的数学本质

从数学上看,PSI 的对比逻辑可以理解为:

  1. 标准化差异: 通过 ln(A_i / E_i) 将绝对差异转化为相对差异,使得不同量级的频率具有可比性。
  2. 加权求和: 使用 (A_i - E_i) 作为权重,确保差异较大的箱对最终 PSI 贡献更大。
  3. 对称性: PSI 是对称的,即 PSI(期望, 实际) = PSI(实际, 期望),这使其成为一个公平的度量指标。

下面的 SVG 图展示了 PSI 计算的数据流与分箱对比逻辑的完整流程:

PSI 计算数据流与分箱对比逻辑 训练集分数 生产集分数 等频分箱 等频分箱 期望频率 E_i 实际频率 A_i PSI 计算引擎 Σ (A_i - E_i) * ln(A_i / E_i) PSI 值 核心对比逻辑 逐箱对比 E_i 与 A_i 的差异

通过以上推导与对比逻辑分析,可以看出 PSI 本质上是一个 加权相对熵,它通过分箱操作将复杂的分布比较问题转化为多个局部差异的累加,从而为模型漂移监控提供了一个稳定、可解释的量化指标。