2. PSI计算原理:详细推导PSI计算公式
群体稳定性指标(Population Stability Index, PSI)是AML模型中衡量模型评分分布随时间变化的核心监控指标。PSI通过比较模型在基准期(期望分布)与监控期(实际分布)的评分分布差异,量化分布漂移程度。本节从分箱方法开始,逐步推导PSI的完整计算公式。
2.1 分箱方法:将连续评分转化为离散区间
PSI计算的第一步是将模型输出的连续评分(如0~1的概率值或0~1000的分数)划分为若干个离散区间(即“分箱”)。分箱方式直接影响PSI的敏感性和稳定性。
| 分箱方法 | 原理 | 适用场景 | 注意事项 |
|---|---|---|---|
| 等距分箱 | 将评分范围均匀划分为N个等宽区间 | 评分分布均匀、无极端值 | 极端值可能导致部分箱为空 |
| 等频分箱 | 按基准期样本量均分,每箱样本数大致相等 | 评分分布偏态、长尾分布 | 监控期可能出现空箱 |
| 自定义分箱 | 根据业务规则或模型阈值设定断点 | AML模型有明确决策阈值 | 需定期评估断点合理性 |
AML实战建议:推荐使用等频分箱(通常10~20箱),因为AML模型评分通常呈左偏分布(大部分样本为低风险),等频分箱能确保每箱都有足够样本,避免PSI计算中出现分母为零的情况。
2.2 期望比例与实际比例的计算逻辑
分箱完成后,需要分别计算每个箱在基准期和监控期的样本占比:
- 期望比例(\( p_i \)):基准期第i个箱的样本数占基准期总样本数的比例。
- 实际比例(\( q_i \)):监控期第i个箱的样本数占监控期总样本数的比例。
计算公式如下:
设基准期总样本数为 N_base,监控期总样本数为 N_monitor。
第 i 个箱在基准期的样本数为 n_base_i,在监控期的样本数为 n_monitor_i。
期望比例 p_i = n_base_i / N_base
实际比例 q_i = n_monitor_i / N_monitor
约束条件:
∑ p_i = 1.0
∑ q_i = 1.0
关键陷阱:如果监控期某个箱的样本数为0(即 \( q_i = 0 \)),则PSI公式中的 \( \ln(q_i / p_i) \) 会出现负无穷。此时需要做平滑处理:通常将空箱与相邻箱合并,或对每个箱加一个小常数(如0.0001)后再计算比例。
2.3 PSI计算公式的完整推导
PSI的数学定义基于离散化KL散度(Kullback-Leibler divergence)的对称化形式。推导过程分为三步:
- 定义单箱贡献度:每个箱对整体漂移的贡献为 \( (q_i - p_i) \times \ln(q_i / p_i) \)。
- 累加所有箱:将所有箱的贡献度求和,得到PSI值。
- 解释结果:PSI值越大,表示两个分布差异越大。
最终PSI公式:
PSI = ∑_{i=1}^{N} (q_i - p_i) × ln(q_i / p_i)
其中:
N = 分箱总数
p_i = 第i个箱的期望比例(基准期)
q_i = 第i个箱的实际比例(监控期)
ln = 自然对数
公式解读:当 \( q_i = p_i \) 时,\( (q_i - p_i) = 0 \) 且 \( \ln(q_i / p_i) = 0 \),该箱贡献为0,PSI=0表示无漂移。当 \( q_i \) 偏离 \( p_i \) 时,两项均不为0,PSI增大。
2.4 PSI计算示例(手工推导)
假设一个AML模型将评分分为3个箱(低风险、中风险、高风险),基准期和监控期的样本分布如下:
| 箱编号 | 评分区间 | 基准期样本数 | 监控期样本数 | 期望比例 \( p_i \) | 实际比例 \( q_i \) |
|---|---|---|---|---|---|
| 1 | [0, 0.3) | 500 | 400 | 0.50 | 0.40 |
| 2 | [0.3, 0.7) | 300 | 350 | 0.30 | 0.35 |
| 3 | [0.7, 1.0] | 200 | 250 | 0.20 | 0.25 |
| 合计 | 1000 | 1000 | 1.00 | 1.00 |
逐箱计算PSI贡献:
箱1: (0.40 - 0.50) × ln(0.40 / 0.50) = (-0.10) × ln(0.80) = (-0.10) × (-0.2231) = 0.02231
箱2: (0.35 - 0.30) × ln(0.35 / 0.30) = (0.05) × ln(1.1667) = (0.05) × (0.1542) = 0.00771
箱3: (0.25 - 0.20) × ln(0.25 / 0.20) = (0.05) × ln(1.25) = (0.05) × (0.2231) = 0.01116
PSI = 0.02231 + 0.00771 + 0.01116 = 0.04118
该PSI值0.04118属于中等漂移(通常阈值:PSI < 0.1为稳定,0.1~0.25需关注,> 0.25需告警)。
2.5 PSI计算流程SVG图
2.6 PSI阈值与告警规则
AML行业通用的PSI阈值标准如下:
| PSI范围 | 漂移程度 | 建议动作 |
|---|---|---|
| PSI < 0.10 | 无显著漂移 | 继续监控,无需干预 |
| 0.10 ≤ PSI < 0.25 | 轻度漂移 | 发出预警,分析漂移方向 |
| 0.25 ≤ PSI < 0.50 | 中度漂移 | 触发告警,启动模型复核 |
| PSI ≥ 0.50 | 严重漂移 | 紧急告警,考虑模型重训或下线 |
AML场景特殊说明:在反洗钱模型中,即使PSI < 0.1,如果漂移集中在高风险箱(如评分>0.9的箱),也需要人工复核。因为高风险箱的微小变化可能意味着洗钱模式发生了结构性改变。
2.7 PSI与KL散度的关系
PSI本质上是对称化KL散度的一种离散形式。理解这一关系有助于深入掌握PSI的数学本质:
- KL散度:\( D_{KL}(P||Q) = \sum p_i \ln(p_i / q_i) \),衡量从Q到P的信息损失,非对称。
- PSI:\( PSI = D_{KL}(P||Q) + D_{KL}(Q||P) = \sum (p_i - q_i) \ln(p_i / q_i) \),对称化形式。
- 对称性优势:PSI对基准期和监控期的角色互换不敏感,更适合作为监控指标。
2.8 计算注意事项与常见错误
| 常见错误 | 后果 | 正确做法 |
|---|---|---|
| 分箱数过少(<5箱) | PSI对分布变化不敏感,漏报漂移 | 使用10~20箱,确保每箱样本数≥50 |
| 分箱数过多(>50箱) | PSI对噪声敏感,产生大量误报 | 根据样本量动态调整箱数 |
| 未处理空箱 | PSI计算出现无穷大或NaN | 合并空箱或加平滑常数 |
| 使用不同分箱边界 | 基准期与监控期箱不对齐,PSI无效 | 固定使用基准期的分箱边界 |
| 忽略业务阈值 | PSI低但高风险箱漂移未被关注 | 结合业务阈值做分层PSI分析 |
核心总结:PSI的计算本质是“分箱 → 算比例 → 逐箱贡献 → 求和”四步流程。理解每一步的数学逻辑和业务含义,是后续处理PSI漂移告警的基础。在AML模型中,PSI不仅是统计指标,更是模型稳定性的早期预警信号。