2. PSI计算原理:详细推导PSI计算公式

群体稳定性指标(Population Stability Index, PSI)是AML模型中衡量模型评分分布随时间变化的核心监控指标。PSI通过比较模型在基准期(期望分布)与监控期(实际分布)的评分分布差异,量化分布漂移程度。本节从分箱方法开始,逐步推导PSI的完整计算公式。

2.1 分箱方法:将连续评分转化为离散区间

PSI计算的第一步是将模型输出的连续评分(如0~1的概率值或0~1000的分数)划分为若干个离散区间(即“分箱”)。分箱方式直接影响PSI的敏感性和稳定性。

分箱方法 原理 适用场景 注意事项
等距分箱 将评分范围均匀划分为N个等宽区间 评分分布均匀、无极端值 极端值可能导致部分箱为空
等频分箱 按基准期样本量均分,每箱样本数大致相等 评分分布偏态、长尾分布 监控期可能出现空箱
自定义分箱 根据业务规则或模型阈值设定断点 AML模型有明确决策阈值 需定期评估断点合理性
AML实战建议:推荐使用等频分箱(通常10~20箱),因为AML模型评分通常呈左偏分布(大部分样本为低风险),等频分箱能确保每箱都有足够样本,避免PSI计算中出现分母为零的情况。

2.2 期望比例与实际比例的计算逻辑

分箱完成后,需要分别计算每个箱在基准期和监控期的样本占比:

  • 期望比例(\( p_i \)):基准期第i个箱的样本数占基准期总样本数的比例。
  • 实际比例(\( q_i \)):监控期第i个箱的样本数占监控期总样本数的比例。

计算公式如下:

设基准期总样本数为 N_base,监控期总样本数为 N_monitor。
第 i 个箱在基准期的样本数为 n_base_i,在监控期的样本数为 n_monitor_i。

期望比例 p_i = n_base_i / N_base
实际比例 q_i = n_monitor_i / N_monitor

约束条件:
∑ p_i = 1.0
∑ q_i = 1.0
关键陷阱:如果监控期某个箱的样本数为0(即 \( q_i = 0 \)),则PSI公式中的 \( \ln(q_i / p_i) \) 会出现负无穷。此时需要做平滑处理:通常将空箱与相邻箱合并,或对每个箱加一个小常数(如0.0001)后再计算比例。

2.3 PSI计算公式的完整推导

PSI的数学定义基于离散化KL散度(Kullback-Leibler divergence)的对称化形式。推导过程分为三步:

  1. 定义单箱贡献度:每个箱对整体漂移的贡献为 \( (q_i - p_i) \times \ln(q_i / p_i) \)。
  2. 累加所有箱:将所有箱的贡献度求和,得到PSI值。
  3. 解释结果:PSI值越大,表示两个分布差异越大。

最终PSI公式:

PSI = ∑_{i=1}^{N} (q_i - p_i) × ln(q_i / p_i)

其中:
N = 分箱总数
p_i = 第i个箱的期望比例(基准期)
q_i = 第i个箱的实际比例(监控期)
ln = 自然对数
公式解读:当 \( q_i = p_i \) 时,\( (q_i - p_i) = 0 \) 且 \( \ln(q_i / p_i) = 0 \),该箱贡献为0,PSI=0表示无漂移。当 \( q_i \) 偏离 \( p_i \) 时,两项均不为0,PSI增大。

2.4 PSI计算示例(手工推导)

假设一个AML模型将评分分为3个箱(低风险、中风险、高风险),基准期和监控期的样本分布如下:

箱编号 评分区间 基准期样本数 监控期样本数 期望比例 \( p_i \) 实际比例 \( q_i \)
1 [0, 0.3) 500 400 0.50 0.40
2 [0.3, 0.7) 300 350 0.30 0.35
3 [0.7, 1.0] 200 250 0.20 0.25
合计 1000 1000 1.00 1.00

逐箱计算PSI贡献:

箱1: (0.40 - 0.50) × ln(0.40 / 0.50) = (-0.10) × ln(0.80) = (-0.10) × (-0.2231) = 0.02231
箱2: (0.35 - 0.30) × ln(0.35 / 0.30) = (0.05) × ln(1.1667) = (0.05) × (0.1542) = 0.00771
箱3: (0.25 - 0.20) × ln(0.25 / 0.20) = (0.05) × ln(1.25) = (0.05) × (0.2231) = 0.01116

PSI = 0.02231 + 0.00771 + 0.01116 = 0.04118

该PSI值0.04118属于中等漂移(通常阈值:PSI < 0.1为稳定,0.1~0.25需关注,> 0.25需告警)。

2.5 PSI计算流程SVG图

PSI计算完整流程图 输入:基准期评分 + 监控期评分 步骤1:等频分箱(N=10~20箱) 步骤2:计算期望比例 p_i p_i = n_base_i / N_base 步骤3:计算实际比例 q_i q_i = n_monitor_i / N_monitor 步骤4:计算每箱贡献 (q_i - p_i) × ln(q_i / p_i) 步骤5:求和得到 PSI = ∑(q_i - p_i) × ln(q_i / p_i) 输出:PSI值 → 漂移告警判断

2.6 PSI阈值与告警规则

AML行业通用的PSI阈值标准如下:

PSI范围 漂移程度 建议动作
PSI < 0.10 无显著漂移 继续监控,无需干预
0.10 ≤ PSI < 0.25 轻度漂移 发出预警,分析漂移方向
0.25 ≤ PSI < 0.50 中度漂移 触发告警,启动模型复核
PSI ≥ 0.50 严重漂移 紧急告警,考虑模型重训或下线
AML场景特殊说明:在反洗钱模型中,即使PSI < 0.1,如果漂移集中在高风险箱(如评分>0.9的箱),也需要人工复核。因为高风险箱的微小变化可能意味着洗钱模式发生了结构性改变。

2.7 PSI与KL散度的关系

PSI本质上是对称化KL散度的一种离散形式。理解这一关系有助于深入掌握PSI的数学本质:

  • KL散度:\( D_{KL}(P||Q) = \sum p_i \ln(p_i / q_i) \),衡量从Q到P的信息损失,非对称。
  • PSI:\( PSI = D_{KL}(P||Q) + D_{KL}(Q||P) = \sum (p_i - q_i) \ln(p_i / q_i) \),对称化形式。
  • 对称性优势:PSI对基准期和监控期的角色互换不敏感,更适合作为监控指标。
PSI与KL散度的关系对比 KL散度(非对称) D_KL(P||Q) = ∑ p_i ln(p_i / q_i) D_KL(P||Q) ≠ D_KL(Q||P) 对称化 PSI(对称) PSI = ∑ (q_i - p_i) ln(q_i / p_i) PSI(P,Q) = PSI(Q,P) 数学关系 PSI = D_KL(P||Q) + D_KL(Q||P) 当 p_i 与 q_i 接近时,PSI ≈ 2 × D_KL(P||Q)

2.8 计算注意事项与常见错误

常见错误 后果 正确做法
分箱数过少(<5箱) PSI对分布变化不敏感,漏报漂移 使用10~20箱,确保每箱样本数≥50
分箱数过多(>50箱) PSI对噪声敏感,产生大量误报 根据样本量动态调整箱数
未处理空箱 PSI计算出现无穷大或NaN 合并空箱或加平滑常数
使用不同分箱边界 基准期与监控期箱不对齐,PSI无效 固定使用基准期的分箱边界
忽略业务阈值 PSI低但高风险箱漂移未被关注 结合业务阈值做分层PSI分析
核心总结:PSI的计算本质是“分箱 → 算比例 → 逐箱贡献 → 求和”四步流程。理解每一步的数学逻辑和业务含义,是后续处理PSI漂移告警的基础。在AML模型中,PSI不仅是统计指标,更是模型稳定性的早期预警信号。