2. PSI 数学原理:公式推导、分布含义与散度概念
群体稳定性指标(Population Stability Index, PSI)是风控模型监控中最核心的量化指标。理解 PSI 的数学原理,是准确判断模型是否发生“客群偏移”或“评分分布漂移”的基础。本节将从公式推导、分布含义、对数比与散度三个层面,拆解 PSI 的数学本质。
2.1 PSI 计算公式推导
PSI 的数学定义源于信息论中的 KL 散度(Kullback-Leibler Divergence),用于衡量两个概率分布之间的差异。在风控场景中,这两个分布分别是:
- 期望分布(Expected Distribution):模型开发时(或基准期)的评分/概率分布。
- 实际分布(Actual Distribution):模型上线后(或监控期)的评分/概率分布。
PSI 的计算公式如下:
PSI = Σ [ (Actual_i - Expected_i) * ln(Actual_i / Expected_i) ]
其中:
- i 表示第 i 个分数段(通常分为 10 或 20 等宽分箱)
- Actual_i = 第 i 箱中实际样本数 / 总实际样本数(即实际占比)
- Expected_i = 第 i 箱中期望样本数 / 总期望样本数(即期望占比)
- ln 为自然对数
计算步骤:
- 分箱:将评分区间(如 300~900 分)等宽划分为 K 个区间(通常 K=10)。
- 统计占比:分别计算每个区间在期望分布和实际分布中的样本占比。
- 计算对数比:对每个区间计算 ln(Actual_i / Expected_i)。
- 加权求和:将 (Actual_i - Expected_i) 与对数比相乘,再对所有区间求和。
关键点:PSI 值越大,表示实际分布与期望分布的差异越大,模型稳定性越差。行业经验阈值:PSI < 0.1 表示稳定性良好;0.1 ≤ PSI < 0.25 表示需关注;PSI ≥ 0.25 表示模型发生显著偏移,需立即排查。
2.2 期望分布与实际分布的含义
理解“期望分布”和“实际分布”是正确使用 PSI 的前提。下表对比了二者的定义、来源与作用:
| 对比维度 | 期望分布(Expected) | 实际分布(Actual) |
|---|---|---|
| 定义 | 模型开发时(或基准期)的评分分布,代表“正常状态” | 模型上线后(或监控期)的评分分布,代表“当前状态” |
| 数据来源 | 训练集、验证集、或模型上线初期的样本 | 最近一个监控周期(如周、月)的实时样本 |
| 作用 | 作为参照基准,定义“什么是稳定的” | 与期望分布对比,量化偏移程度 |
| 常见问题 | 若基准期本身有偏差,PSI 会误判 | 若样本量过小,分箱占比不稳定,PSI 易失真 |
实践建议:选择期望分布时,应使用模型表现稳定、客群结构无异常波动的时期作为基准。通常取模型上线后前 3~6 个月的数据作为“期望分布”,而非直接使用训练集。
2.3 对数比与散度概念
PSI 公式中的核心数学元素是 对数比 和 散度。理解这两个概念,才能深入掌握 PSI 的敏感性与局限性。
2.3.1 对数比:ln(Actual_i / Expected_i)
对数比是 PSI 的“放大镜”。当实际占比与期望占比相等时,比值为 1,ln(1)=0,该区间不贡献 PSI。当两者差异越大,对数比的绝对值越大,且符号可正可负:
- Actual_i > Expected_i:比值 > 1,ln 为正,表示该区间实际样本占比增加(客群向该区间集中)。
- Actual_i < Expected_i:比值 < 1,ln 为负,表示该区间实际样本占比减少(客群从该区间流失)。
对数比具有“非对称性”:当 Actual_i 远大于 Expected_i 时,ln 增长缓慢;但当 Actual_i 远小于 Expected_i 时,ln 负向增长更快(趋向负无穷)。这使得 PSI 对“样本骤减”的区间更敏感。
2.3.2 散度:KL 散度与对称化
PSI 本质上是 对称化的 KL 散度。KL 散度(Kullback-Leibler Divergence)衡量两个分布 P 和 Q 的差异:
KL(P || Q) = Σ P_i * ln(P_i / Q_i)
KL 散度是非对称的,即 KL(P||Q) ≠ KL(Q||P)。PSI 通过将两个分布的角色互换并求和,实现了对称化:
PSI = KL(Actual || Expected) + KL(Expected || Actual)
展开后:
PSI = Σ Actual_i * ln(Actual_i / Expected_i) + Σ Expected_i * ln(Expected_i / Actual_i)
= Σ (Actual_i - Expected_i) * ln(Actual_i / Expected_i)
这种对称化使得 PSI 同时惩罚“实际分布相对于期望分布的偏移”和“期望分布相对于实际分布的偏移”,从而更全面地衡量分布差异。
避坑提示:当某个分箱中 Expected_i 或 Actual_i 为 0 时,ln(0) 无定义。实际计算中,通常对占比为 0 的箱进行平滑处理(如加一个小常数 ε=1e-6),或直接跳过该箱。但需注意,跳过箱会损失信息,建议优先使用平滑法。
2.4 本节小结
- PSI 公式:PSI = Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i),本质是对称化 KL 散度。
- 期望分布 vs 实际分布:期望分布是基准,实际分布是当前状态;两者差异越大,PSI 越高。
- 对数比:ln(Actual_i / Expected_i) 放大分布差异,具有非对称敏感性。
- 散度概念:KL 散度衡量分布差异但非对称;PSI 通过双向求和实现对称化,更适用于风控监控场景。