2. PSI数学原理:群体稳定性指标公式推导、分箱与期望频率、实际频率的计算逻辑
群体稳定性指标(Population Stability Index, PSI)是衡量模型评分分布随时间或样本集变化的量化工具。其核心思想是通过比较两个分布(期望分布与实际分布)在每个分箱上的差异,累加得到整体偏移程度。本章从数学公式出发,逐步拆解分箱逻辑与频率计算过程。
2.1 PSI公式推导
PSI 的数学定义基于信息论中的交叉熵与 KL 散度。假设将模型评分划分为 n 个分箱,每个分箱在期望分布中的占比为 Ei(期望频率),在实际分布中的占比为 Ai(实际频率),则 PSI 计算公式为:
PSI = Σ (Aᵢ - Eᵢ) × ln(Aᵢ / Eᵢ) (i = 1, 2, ..., n)
公式推导逻辑如下:
- 步骤1: 计算每个分箱的实际频率与期望频率的差值 (Aᵢ - Eᵢ),反映该箱的偏移方向与幅度。
- 步骤2: 计算实际频率与期望频率的比值 (Aᵢ / Eᵢ),取自然对数 ln(Aᵢ / Eᵢ),用于衡量相对变化。
- 步骤3: 将差值乘以对数比值,累加所有分箱得到 PSI 值。
当 Aᵢ = Eᵢ 时,ln(1) = 0,该箱贡献为 0;当分布完全一致时,PSI = 0。PSI 值越大,表示两个分布差异越大,模型稳定性越差。
业务解读: PSI 本质是加权对数距离。差值项 (Aᵢ - Eᵢ) 赋予大偏移箱更高权重,对数项放大比例差异,使 PSI 对尾部偏移敏感。
2.2 分箱逻辑与策略
分箱是 PSI 计算的基础步骤,直接影响指标敏感度。常见的分箱方法包括等距分箱、等频分箱与自定义分箱。分箱数量通常建议在 10~20 之间,过少会掩盖局部偏移,过多则导致噪声放大。
| 分箱方法 | 原理 | 适用场景 | 注意事项 |
|---|---|---|---|
| 等距分箱 | 将评分范围均匀划分为 n 段,每段宽度相同 | 评分分布均匀、无极端值 | 极端值可能导致空箱 |
| 等频分箱 | 使每个分箱包含相同数量的样本 | 评分分布偏态、长尾 | 分箱边界可能不稳定 |
| 自定义分箱 | 根据业务规则或风险阈值设定边界 | 监管要求、业务分段 | 需定期验证边界合理性 |
分箱避坑: 若某个分箱在期望分布中样本数为 0,则 Eᵢ = 0,导致 ln(Aᵢ / 0) 无定义。此时需做平滑处理,如加入极小常数(例如 0.0001)或合并相邻空箱。
2.3 期望频率与实际频率的计算逻辑
期望频率(Eᵢ)与实际频率(Aᵢ)是 PSI 计算的核心输入。两者计算逻辑一致,但数据来源不同:
- 期望频率(Eᵢ): 基于模型开发时或基准期的评分分布。计算方式为:
Eᵢ = 第 i 箱样本数 / 基准期总样本数 - 实际频率(Aᵢ): 基于当前监控期的评分分布。计算方式为:
Aᵢ = 第 i 箱样本数 / 监控期总样本数
计算步骤示例(假设分箱数为 5):
# 基准期评分分布(期望)
期望样本数 = [200, 300, 350, 100, 50] # 总样本 = 1000
期望频率 E = [0.20, 0.30, 0.35, 0.10, 0.05]
# 监控期评分分布(实际)
实际样本数 = [180, 320, 370, 90, 40] # 总样本 = 1000
实际频率 A = [0.18, 0.32, 0.37, 0.09, 0.04]
# 计算每个分箱的贡献
箱1: (0.18 - 0.20) × ln(0.18/0.20) = (-0.02) × (-0.1054) = 0.0021
箱2: (0.32 - 0.30) × ln(0.32/0.30) = 0.02 × 0.0645 = 0.0013
箱3: (0.37 - 0.35) × ln(0.37/0.35) = 0.02 × 0.0556 = 0.0011
箱4: (0.09 - 0.10) × ln(0.09/0.10) = (-0.01) × (-0.1054) = 0.0011
箱5: (0.04 - 0.05) × ln(0.04/0.05) = (-0.01) × (-0.2231) = 0.0022
PSI = 0.0021 + 0.0013 + 0.0011 + 0.0011 + 0.0022 = 0.0078
PSI = 0.0078 远小于 0.1,表明模型评分分布稳定,无需告警。
2.4 PSI 阈值与业务解读
PSI 值的大小对应不同的稳定性等级,业界常用阈值如下:
| PSI 范围 | 稳定性等级 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 稳定 | 无需干预,持续监控 |
| 0.1 ≤ PSI < 0.25 | 轻度偏移 | 分析偏移原因,评估是否需要调整 |
| PSI ≥ 0.25 | 严重偏移 | 立即告警,启动模型重训或校准 |
注意: 阈值并非绝对,需结合业务场景调整。例如,在贷后逾期预测中,若 PSI 偏移集中在高风险分箱,即使 PSI 小于 0.1,也应重点关注。