2. PSI 数学原理:从公式推导到分箱策略影响
PSI(Population Stability Index,群体稳定性指数)的核心是衡量两个概率分布之间的差异程度。在风控与监控场景中,它用于量化“实际分布”相对于“预期分布”的偏移量。理解其数学推导与分箱策略,是正确设定告警阈值的前提。
2.1 PSI 计算公式推导
PSI 的数学基础来源于信息论中的 KL 散度(Kullback-Leibler divergence),但做了对称化处理。其标准计算公式如下:
PSI = Σ (Actual_i - Expected_i) * ln(Actual_i / Expected_i)
其中:
- Actual_i = 第 i 个分箱中实际样本的占比(实际分布)
- Expected_i = 第 i 个分箱中预期样本的占比(预期分布)
- ln = 自然对数
- Σ = 对所有分箱 i = 1 到 n 求和
推导逻辑:
- 分箱:将连续变量或离散变量划分为 n 个区间(箱)。
- 计算占比:分别统计实际样本与预期样本在每个箱中的数量,并除以各自的总样本数,得到
Actual_i和Expected_i。 - 计算差异项:对每个箱,计算
(Actual_i - Expected_i) * ln(Actual_i / Expected_i)。 - 求和:将所有箱的差异项相加,得到最终的 PSI 值。
关键理解:当实际分布与预期分布完全一致时,每个箱的
Actual_i = Expected_i,则 ln(1) = 0,PSI = 0。PSI 值越大,表示分布偏移越严重。
下图展示了 PSI 计算的核心流程:
2.2 分箱策略及其对 PSI 的影响
分箱是 PSI 计算的前置步骤,不同的分箱策略会直接影响每个箱的 Actual_i 和 Expected_i,从而改变最终的 PSI 值。选择不当的分箱策略可能导致误判或漏判。
常见的三种分箱策略对比如下:
| 分箱策略 | 定义 | 优点 | 缺点 | 对 PSI 的影响 |
|---|---|---|---|---|
| 等距分箱 | 将变量取值范围划分为宽度相等的区间 | 实现简单,区间边界固定 | 数据分布不均时,部分箱可能样本极少或为空 | 空箱或稀疏箱会导致 ln(0) 或 ln(∞) 计算异常,PSI 值不稳定 |
| 等频分箱 | 使每个箱包含大致相同数量的样本 | 避免空箱,每个箱统计意义均衡 | 边界随数据分布变化,不同时间点边界可能不同 | 对分布偏移敏感度适中,是工业界最常用的策略 |
| 分位数分箱 | 基于数据的分位数(如十分位数、百分位数)划分区间 | 对长尾分布友好,边界具有统计意义 | 计算复杂度略高,需要排序 | 能更精细地捕捉尾部偏移,但可能对中间区域变化不敏感 |
常见陷阱:使用等距分箱时,如果预期分布中某个箱的样本占比为 0(即
Expected_i = 0),则 ln(Actual_i / 0) 无定义。此时需要做平滑处理(如加一个小常数),否则 PSI 计算会报错。
下图直观展示了三种分箱策略在相同数据分布下的差异:
2.3 分箱策略选择建议
- 默认推荐:等频分箱(通常分为 10 箱),兼顾稳定性和敏感性。
- 长尾分布:使用分位数分箱(如十分位数),避免尾部箱样本过少。
- 业务规则明确:如果变量有天然的业务分段(如信用评分区间),优先使用等距分箱并确保每个箱都有样本。
- 避免过细分箱:分箱数过多(如超过 20 箱)会导致每个箱样本稀疏,PSI 值波动增大。
实践要点:在监控系统中,建议固定分箱策略和分箱数,并在模型上线前基于预期分布确定箱边界。后续监控时,使用相同的箱边界计算实际分布占比,确保 PSI 值在不同时间点具有可比性。