2. PSI 数学原理:从公式推导到分箱策略影响

PSI(Population Stability Index,群体稳定性指数)的核心是衡量两个概率分布之间的差异程度。在风控与监控场景中,它用于量化“实际分布”相对于“预期分布”的偏移量。理解其数学推导与分箱策略,是正确设定告警阈值的前提。

2.1 PSI 计算公式推导

PSI 的数学基础来源于信息论中的 KL 散度(Kullback-Leibler divergence),但做了对称化处理。其标准计算公式如下:

PSI = Σ (Actual_i - Expected_i) * ln(Actual_i / Expected_i)

其中:
- Actual_i   = 第 i 个分箱中实际样本的占比(实际分布)
- Expected_i = 第 i 个分箱中预期样本的占比(预期分布)
- ln         = 自然对数
- Σ          = 对所有分箱 i = 1 到 n 求和

推导逻辑:

  1. 分箱:将连续变量或离散变量划分为 n 个区间(箱)。
  2. 计算占比:分别统计实际样本与预期样本在每个箱中的数量,并除以各自的总样本数,得到 Actual_i 和 Expected_i。
  3. 计算差异项:对每个箱,计算 (Actual_i - Expected_i) * ln(Actual_i / Expected_i)。
  4. 求和:将所有箱的差异项相加,得到最终的 PSI 值。
关键理解:当实际分布与预期分布完全一致时,每个箱的 Actual_i = Expected_i,则 ln(1) = 0,PSI = 0。PSI 值越大,表示分布偏移越严重。

下图展示了 PSI 计算的核心流程:

PSI 计算流程 实际分布 预期分布 分箱策略 分箱策略 Actual_i Expected_i PSI 计算 Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i) PSI 值

2.2 分箱策略及其对 PSI 的影响

分箱是 PSI 计算的前置步骤,不同的分箱策略会直接影响每个箱的 Actual_i 和 Expected_i,从而改变最终的 PSI 值。选择不当的分箱策略可能导致误判或漏判。

常见的三种分箱策略对比如下:

分箱策略 定义 优点 缺点 对 PSI 的影响
等距分箱 将变量取值范围划分为宽度相等的区间 实现简单,区间边界固定 数据分布不均时,部分箱可能样本极少或为空 空箱或稀疏箱会导致 ln(0) 或 ln(∞) 计算异常,PSI 值不稳定
等频分箱 使每个箱包含大致相同数量的样本 避免空箱,每个箱统计意义均衡 边界随数据分布变化,不同时间点边界可能不同 对分布偏移敏感度适中,是工业界最常用的策略
分位数分箱 基于数据的分位数(如十分位数、百分位数)划分区间 对长尾分布友好,边界具有统计意义 计算复杂度略高,需要排序 能更精细地捕捉尾部偏移,但可能对中间区域变化不敏感
常见陷阱:使用等距分箱时,如果预期分布中某个箱的样本占比为 0(即 Expected_i = 0),则 ln(Actual_i / 0) 无定义。此时需要做平滑处理(如加一个小常数),否则 PSI 计算会报错。

下图直观展示了三种分箱策略在相同数据分布下的差异:

三种分箱策略对比(同一组数据) 等距分箱 箱1: 样本少 箱2: 样本多 箱3: 样本多 箱4: 样本少 等频分箱 25% 25% 25% 25% 分位数分箱 P10 P25 P50 P75 P90

2.3 分箱策略选择建议

  • 默认推荐:等频分箱(通常分为 10 箱),兼顾稳定性和敏感性。
  • 长尾分布:使用分位数分箱(如十分位数),避免尾部箱样本过少。
  • 业务规则明确:如果变量有天然的业务分段(如信用评分区间),优先使用等距分箱并确保每个箱都有样本。
  • 避免过细分箱:分箱数过多(如超过 20 箱)会导致每个箱样本稀疏,PSI 值波动增大。
实践要点:在监控系统中,建议固定分箱策略和分箱数,并在模型上线前基于预期分布确定箱边界。后续监控时,使用相同的箱边界计算实际分布占比,确保 PSI 值在不同时间点具有可比性。