2. PSI 数学原理:公式推导、分箱方法与 KL 散度关系
群体稳定性指标(Population Stability Index, PSI)是风控模型监控中最核心的量化指标之一。它通过比较两个样本群体在特征或分数上的分布差异,来判断模型或特征是否发生显著偏移。本节将从数学公式推导、分箱方法选择以及信息论关联三个层面,深入剖析 PSI 的计算原理。
2.1 PSI 计算公式推导
PSI 的计算基于“期望分布”与“实际分布”在每个分箱中的占比差异。其标准公式如下:
PSI = Σ (实际占比_i - 期望占比_i) * ln(实际占比_i / 期望占比_i)
其中:
- 期望占比_i:模型开发或基准时期,第 i 个分箱中样本数占总样本数的比例。
- 实际占比_i:当前监控时期,第 i 个分箱中样本数占总样本数的比例。
- ln:自然对数。
- Σ:对所有分箱求和。
公式的推导逻辑可以拆解为三个步骤:
- 分箱:将连续变量或分数划分为 K 个离散区间。
- 计算占比:分别计算基准期和监控期在每个区间内的样本占比。
- 加权求和:对每个区间计算 (实际占比 - 期望占比) * ln(实际占比 / 期望占比),并累加所有区间。
⚠️ 避坑提示: 当某个分箱的期望占比或实际占比为 0 时,ln(0) 无定义。实际工程中,通常会对占比进行平滑处理(如加一个小常数 ε = 1e-6),或直接将该分箱与相邻分箱合并。
2.2 分箱方法:等频与等距
分箱是 PSI 计算的前置步骤,分箱方式直接影响 PSI 值的敏感度和稳定性。常用的分箱方法有两种:等频分箱和等距分箱。
| 分箱方法 | 原理 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 等频分箱 | 每个分箱包含大致相同数量的样本 | 避免空箱;对分布密集区域自动细化 | 边界值可能不直观;对极端值敏感 | 评分卡分数、概率输出等分布不均匀的变量 |
| 等距分箱 | 每个分箱的数值区间宽度相同 | 边界清晰、可解释性强 | 容易产生空箱或样本极少的箱子 | 年龄、收入等均匀分布的连续变量 |
📌 工程建议: 在风控模型监控中,推荐优先使用 等频分箱(通常分 10 箱)。等频分箱能保证每个箱子都有足够的样本量,避免因空箱导致的 PSI 计算异常。如果特征分布极度偏斜,可适当减少分箱数(如 5 箱)。
2.3 PSI 与 KL 散度的关系
从信息论角度看,PSI 与 KL 散度(Kullback-Leibler Divergence) 有着紧密的数学联系。KL 散度衡量的是两个概率分布 P 和 Q 之间的差异:
KL(P || Q) = Σ P_i * ln(P_i / Q_i)
对比 PSI 公式:
PSI = Σ (实际_i - 期望_i) * ln(实际_i / 期望_i)
= Σ 实际_i * ln(实际_i / 期望_i) - Σ 期望_i * ln(期望_i / 实际_i)
= KL(实际 || 期望) + KL(期望 || 实际)
由此可见,PSI 实际上是两个 KL 散度的对称和:
- KL(实际 || 期望):从期望分布到实际分布的 KL 散度。
- KL(期望 || 实际):从实际分布到期望分布的 KL 散度。
🔍 关键洞察: 由于 KL 散度是非对称的(KL(P||Q) ≠ KL(Q||P)),PSI 通过取两个方向的和,实现了对称性。这使得 PSI 在衡量分布差异时更加稳定,不会因为“方向”不同而给出不同的结果。这也是 PSI 在工业界广泛使用的原因之一。
下表总结了 PSI 与 KL 散度的核心区别:
| 指标 | 对称性 | 取值范围 | 实际含义 |
|---|---|---|---|
| KL 散度 | 非对称 | [0, +∞) | 衡量用一个分布近似另一个分布时的信息损失 |
| PSI | 对称 | [0, +∞) | 衡量两个分布的双向差异,常用于模型监控 |
💡 记忆技巧: 可以把 PSI 理解为“双向 KL 散度”。当 PSI = 0 时,表示两个分布完全相同;PSI 越大,分布差异越大。在风控场景中,通常以 PSI < 0.1 作为稳定、0.1 ~ 0.25 作为需关注、> 0.25 作为严重偏移的阈值参考。