3. PSI(群体稳定性指标)原理
群体稳定性指标(Population Stability Index, PSI)是衡量两个样本分布之间差异程度的统计量。在反欺诈图谱中,PSI 用于监控模型评分或特征分布在时间维度上的变化,从而判断模型是否发生“漂移”。当 PSI 超过阈值时,说明当前样本分布与建模样本分布存在显著差异,模型可能已失效,需要重新训练或调整。
3.1 PSI 的数学定义
PSI 基于信息论中的 KL 散度(Kullback-Leibler Divergence) 推导而来,但做了对称化处理。其核心思想是:将两个分布分别划分为若干区间(分箱),然后比较每个区间内样本占比的差异。
设参考分布(通常为建模时的训练集或验证集)的样本占比为 P_i,当前分布(监控期样本)的样本占比为 Q_i,其中 i = 1, 2, ..., n 为分箱编号。PSI 的计算公式为:
PSI = Σ ( (P_i - Q_i) * ln(P_i / Q_i) )
其中:
- P_i:参考分布在第 i 个分箱中的样本比例
- Q_i:当前分布在第 i 个分箱中的样本比例
- ln(P_i / Q_i):自然对数,衡量两个比例之间的偏离程度
- Σ:对所有分箱求和
关键理解: PSI 本质上是两个分布之间“信息差异”的加权和。当 P_i 与 Q_i 完全相等时,PSI = 0;差异越大,PSI 值越高。
3.2 PSI 的计算公式与步骤
实际计算 PSI 时,通常遵循以下步骤:
- 确定参考分布:选择模型训练集或验证集的预测分数/特征值作为基准。
- 确定当前分布:选择需要监控的时间窗口(如最近一周、一个月)内的样本。
- 分箱处理:将参考分布和当前分布按照相同的分箱规则划分为若干区间。
- 计算各箱占比:分别统计参考分布和当前分布落在每个箱内的样本数量,并计算比例。
- 代入公式:对每个分箱计算 (P_i - Q_i) * ln(P_i / Q_i),然后求和。
以下是一个简化的计算示例(假设分为 5 箱):
| 分箱编号 | 参考占比 P_i | 当前占比 Q_i | P_i - Q_i | ln(P_i / Q_i) | 单项贡献 |
|---|---|---|---|---|---|
| 1 | 0.20 | 0.15 | 0.05 | 0.2877 | 0.0144 |
| 2 | 0.25 | 0.20 | 0.05 | 0.2231 | 0.0112 |
| 3 | 0.30 | 0.35 | -0.05 | -0.1542 | 0.0077 |
| 4 | 0.15 | 0.20 | -0.05 | -0.2877 | 0.0144 |
| 5 | 0.10 | 0.10 | 0.00 | 0.0000 | 0.0000 |
| PSI 总和 | 0.0477 | ||||
经验阈值: 在反欺诈场景中,通常认为 PSI < 0.1 表示分布稳定;0.1 ≤ PSI < 0.25 表示轻度漂移,需要关注;PSI ≥ 0.25 表示严重漂移,模型需立即重新训练。
3.3 分箱方法
分箱是 PSI 计算的关键前置步骤,不同的分箱方法会直接影响 PSI 值的敏感性和稳定性。常用的分箱方法有三种:等距分箱、等频分箱和分位数分箱。
| 分箱方法 | 原理 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 等距分箱 | 将数值范围等分为宽度相同的区间 | 实现简单,区间边界直观 | 数据分布不均时,部分箱可能为空或样本极少 | 评分卡分数、概率值等均匀分布的数据 |
| 等频分箱 | 使每个区间包含大致相同数量的样本 | 避免空箱,对长尾分布友好 | 区间边界可能不规整,对极端值敏感 | 特征分布偏态严重、存在大量重复值 |
| 分位数分箱 | 按数据的分位数(如十分位、二十分位)划分区间 | 边界稳定,受异常值影响小 | 分箱数量固定,灵活性较低 | 需要标准化监控、跨时间对比的场景 |
避坑提示: 在反欺诈图谱中,如果使用等距分箱且数据分布严重偏斜(如大部分样本集中在低分段),会导致部分箱内样本占比为 0,此时 ln(P_i / Q_i) 无法计算。建议优先使用等频分箱或分位数分箱,并确保每个箱内至少包含 5% 的样本。
3.4 分箱方法对比示意图
下图直观展示了三种分箱方法对同一组数据的不同划分效果:
3.5 PSI 在反欺诈图谱中的计算流程
在反欺诈图谱的实际应用中,PSI 的计算通常嵌入到自动化监控流水线中。下图展示了从数据采集到漂移告警的完整流程:
3.6 分箱方法选择建议
在反欺诈图谱的实际工程中,分箱方法的选择需要结合数据特性和监控目标。以下是一些实践建议:
- 评分卡分数监控:推荐使用等距分箱,因为评分卡分数通常经过标准化处理,分布相对均匀。
- 图特征监控(如节点度数、PageRank 值):推荐使用等频分箱,因为这些特征往往呈长尾分布,等距分箱会导致大量空箱。
- 跨时间对比:推荐使用分位数分箱,确保不同时间窗口的分箱边界一致,便于直接比较 PSI 值。
- 分箱数量:通常建议分箱数量在 10~20 之间。分箱过少会丢失分布细节,分箱过多则对微小波动过于敏感。
工程实践: 在反欺诈图谱的 PSI 监控系统中,建议同时计算多个分箱方案下的 PSI 值,并取加权平均或最大值作为最终指标,以降低单一分箱方法带来的偏差风险。