3、PSI指标原理:群体稳定性指标(PSI)的数学定义、计算公式推导、PSI的统计学意义
3.1 群体稳定性指标(PSI)的数学定义
群体稳定性指标(Population Stability Index, PSI)是衡量两个样本分布之间差异程度的统计量,在风控领域主要用于监控模型评分或特征分布在时间维度上的变化。PSI 的核心思想是比较“预期分布”(通常为建模时的训练集分布)与“实际分布”(当前生产环境中的分布)之间的偏移程度。
从信息论角度看,PSI 基于 Kullback-Leibler 散度(KL 散度)的对称化变体,其数学定义如下:
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
其中:
- P_i:第 i 个分箱中“实际分布”的样本占比(当前期)
- Q_i:第 i 个分箱中“预期分布”的样本占比(基准期)
- i = 1, 2, ..., n:分箱总数(通常 n ≥ 10)
PSI 的值域为 [0, +∞),值越大表示两个分布之间的差异越大。当 P_i = Q_i 对所有分箱成立时,PSI = 0,表示分布完全一致。
关键理解:PSI 本质上是对两个概率分布之间“距离”的度量。它不关心分布的具体形状,只关心在每个分箱上占比的差异程度。在风控场景中,PSI 值超过 0.25 通常被视为需要紧急干预的阈值。
3.2 计算公式推导:从 KL 散度到 PSI
PSI 的推导过程可以从信息论中的 KL 散度出发。KL 散度衡量的是使用分布 Q 来近似分布 P 时的信息损失,其定义为:
KL(P || Q) = Σ P_i * ln(P_i / Q_i)
然而,KL 散度是非对称的,即 KL(P || Q) ≠ KL(Q || P)。为了获得对称的度量,PSI 采用了 KL 散度的对称化形式:
PSI = KL(P || Q) + KL(Q || P)
= Σ P_i * ln(P_i / Q_i) + Σ Q_i * ln(Q_i / P_i)
= Σ [P_i * ln(P_i / Q_i) + Q_i * ln(Q_i / P_i)]
= Σ (P_i - Q_i) * ln(P_i / Q_i)
推导的最后一步利用了对数性质:
P_i * ln(P_i / Q_i) + Q_i * ln(Q_i / P_i)
= P_i * ln(P_i / Q_i) - Q_i * ln(P_i / Q_i)
= (P_i - Q_i) * ln(P_i / Q_i)
因此,PSI 的最终计算公式为:
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
推导要点:
- PSI 是 KL 散度的对称化版本,解决了 KL 散度非对称的问题
- 当 P_i 或 Q_i 为 0 时,需要做平滑处理(通常加一个小常数 ε = 1e-6)
- 分箱数量 n 的选择会影响 PSI 的敏感性:n 越大,对局部变化越敏感
3.3 PSI 的统计学意义
PSI 虽然不是一个严格的统计检验量(如卡方检验),但在实际风控应用中具有明确的统计学解释意义:
| PSI 值范围 | 稳定性等级 | 统计学解释 | 风控建议 |
|---|---|---|---|
| [0, 0.10) | 高度稳定 | 两个分布差异极小,可视为同一分布 | 无需干预,持续监控 |
| [0.10, 0.25) | 轻度漂移 | 存在一定差异,但仍在可接受范围 | 需关注,排查可能的原因 |
| [0.25, +∞) | 显著漂移 | 分布发生实质性变化,模型可能失效 | 立即干预,考虑模型重建 |
从统计学角度,PSI 的数值可以理解为:
- 信息增益视角:PSI 衡量的是从“预期分布”到“实际分布”所获得的信息增益(以 nat 为单位)。每增加 0.1 的 PSI,意味着分布之间的平均差异约为 10%。
- 熵的视角:PSI 可以看作是两个分布交叉熵与各自熵的差值组合。当 PSI 较大时,说明实际分布的熵结构与预期分布存在显著不同。
- 与卡方检验的关系:PSI 与卡方统计量在概念上相似,但 PSI 对尾部差异更敏感(因为对数放大了小概率事件的差异)。
重要提示:PSI 的阈值(0.10 和 0.25)是行业经验值,并非严格的统计显著性阈值。在实际应用中,应根据具体业务场景和模型敏感度进行调整。例如,对于信用评分卡模型,阈值可能需要更严格(如 0.05 和 0.15)。
3.4 PSI 计算流程与分箱策略
PSI 的计算依赖于分箱策略,不同的分箱方式会影响 PSI 的数值和敏感性。以下是标准计算流程:
- 确定基准分布:选择建模时的训练集或验证集作为基准期分布 Q
- 确定当前分布:选择当前生产环境中的样本作为实际分布 P
- 分箱处理:将两个分布的取值空间划分为 n 个等宽或等频分箱
- 计算占比:分别计算每个分箱中基准分布和实际分布的样本占比
- 计算 PSI:代入公式 PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
- 结果判定:根据阈值判断是否需要触发告警
常见的分箱策略对比:
| 分箱策略 | 方法描述 | 优点 | 缺点 |
|---|---|---|---|
| 等宽分箱 | 将数值范围等分为 n 个区间 | 实现简单,计算快 | 可能产生空箱,对异常值敏感 |
| 等频分箱 | 使每个分箱包含相同数量的样本 | 避免空箱,对分布形状鲁棒 | 分箱边界随分布变化而变化 |
| 决策树分箱 | 基于目标变量进行最优分割 | 与模型目标对齐 | 计算复杂,可能过拟合 |
实践建议:在风控监控中,推荐使用等频分箱(通常 n=10 或 n=20),因为它能保证每个分箱都有足够的样本,避免因空箱导致的 PSI 计算不稳定。对于评分卡模型,也可以使用评分卡自身的分数段作为分箱边界。
3.5 PSI 的局限性与注意事项
尽管 PSI 是风控监控中最常用的指标之一,但在实际应用中需要注意以下局限性:
- 分箱敏感性:不同的分箱策略和分箱数量会导致 PSI 值不同,建议在监控系统中固定分箱策略和参数
- 样本量依赖:当样本量较小时,PSI 可能不稳定,建议每个分箱至少包含 50 个样本
- 无法区分漂移方向:PSI 只度量差异大小,不指示分布是向左还是向右偏移,需要结合其他指标(如均值、标准差)综合判断
- 对零值敏感:当某个分箱在基准分布或实际分布中占比为 0 时,需要对数变换中的无穷大问题,必须做平滑处理
- 阈值经验性:0.10 和 0.25 的阈值来源于信贷风控领域,在其他领域(如反欺诈、营销评分)可能需要重新校准
最佳实践:
- 在监控系统中同时计算 PSI 和特征分布的描述性统计(均值、标准差、分位数)
- 对每个特征和模型分数分别设置动态阈值,基于历史 PSI 的均值和标准差自动调整
- 当 PSI 触发告警时,进一步使用分箱级别的贡献度分析(即每个分箱的 (P_i - Q_i) * ln(P_i / Q_i) 值)定位漂移来源