2. PSI 数学原理:公式推导、期望分布与实际分布、分箱策略
群体稳定性指标(Population Stability Index, PSI)是衡量两个概率分布之间差异程度的统计量,在风控与反欺诈领域常用于监控模型评分或特征分布在时间维度上的偏移程度。理解 PSI 的数学原理,是后续将其应用于团伙识别漂移监控的基础。
2.1 PSI 公式推导
PSI 的核心思想来源于信息论中的 KL 散度(Kullback-Leibler divergence),但 PSI 对其进行了对称化处理,使其成为一个对称且有界的度量指标。PSI 的计算公式如下:
PSI = Σ (实际占比_i - 期望占比_i) * ln(实际占比_i / 期望占比_i)
其中:
- 实际占比_i:第 i 个分箱中,实际分布(如当前月份)的样本数量占总样本数的比例。
- 期望占比_i:第 i 个分箱中,期望分布(如模型开发时或上个月)的样本数量占总样本数的比例。
- ln:自然对数。
- Σ:对所有分箱求和。
从公式可以看出,PSI 实际上是 (实际占比 - 期望占比) 与 ln(实际占比 / 期望占比) 的乘积之和。当两个分布完全一致时,每个分箱的差值为 0,PSI = 0。分布差异越大,PSI 值越大。
数学关联: PSI 与 KL 散度的关系为:PSI = KL(P||Q) + KL(Q||P),其中 P 为实际分布,Q 为期望分布。这种对称化处理使得 PSI 比单向的 KL 散度更适合作为监控指标。
2.2 期望分布与实际分布的定义
在 PSI 计算中,两个核心输入变量是期望分布与实际分布。它们的定义直接决定了监控的方向和意义。
| 分布类型 | 定义 | 在漂移监控中的角色 | 常见来源 |
|---|---|---|---|
| 期望分布 (Expected) | 作为基准的参考分布,通常代表“正常”或“稳定”状态下的分布。 | 锚点分布,用于衡量当前分布是否偏离基准。 | 模型训练集、验证集、上线首月、历史稳定月份。 |
| 实际分布 (Actual) | 待评估的当前分布,通常代表“最新”或“待监控”状态下的分布。 | 被监控分布,用于判断是否发生漂移。 | 当前月份、最近一周、最新批次数据。 |
关键注意: 期望分布的选择对 PSI 结果影响巨大。在团伙识别场景中,如果期望分布选用了包含团伙攻击的月份,则后续正常月份的 PSI 反而可能偏高,导致误报。建议选择经过清洗、确认无异常攻击的稳定期数据作为期望分布。
2.3 分箱策略:等频分箱与等距分箱
PSI 的计算依赖于对连续变量或概率值进行分箱。分箱策略的选择直接影响 PSI 的敏感度和稳定性。主流的分箱策略有两种:等频分箱和等距分箱。
2.3.1 等频分箱 (Equal Frequency Binning)
等频分箱将数据按照样本数量均匀划分,使得每个分箱中包含大致相同数量的样本。这种策略对数据分布的形状不敏感,能保证每个分箱都有足够的样本量,避免出现空箱或样本过少导致的计算不稳定。
- 优点: 分箱稳定,不易受极端值影响;每个分箱统计意义强。
- 缺点: 分箱边界随数据分布变化而变化,不同时间点的分箱边界可能不一致,需要对齐处理。
- 适用场景: 特征分布未知或分布极不均匀时;模型评分等概率型变量的监控。
2.3.2 等距分箱 (Equal Width Binning)
等距分箱将变量的取值范围均匀划分为若干个等宽的区间。分箱边界是固定的,不依赖于样本分布。
- 优点: 分箱边界固定,便于跨时间点直接对比;计算简单,可解释性强。
- 缺点: 如果数据分布极不均匀,可能出现大量样本集中在少数分箱,而其他分箱样本稀疏甚至为空的情况,导致 PSI 计算不稳定。
- 适用场景: 变量取值范围已知且相对稳定时;年龄、收入等连续型特征的监控。
| 对比维度 | 等频分箱 | 等距分箱 |
|---|---|---|
| 划分依据 | 样本数量均等 | 数值区间均等 |
| 分箱边界 | 动态变化 | 固定不变 |
| 对极端值敏感度 | 低 | 高 |
| 空箱风险 | 低 | 高 |
| 跨时间可比性 | 需对齐边界 | 天然可比 |
| 推荐箱数 | 10 ~ 20 | 10 ~ 20 |
实践建议: 在团伙识别漂移监控中,推荐优先使用 等频分箱。因为团伙行为往往导致特征分布出现局部“尖峰”或“凹陷”,等频分箱能更均匀地捕捉这些局部变化,且不易因空箱导致 PSI 计算失效。若使用等距分箱,务必检查每个分箱的样本量是否充足(建议至少 5% 的总样本)。
2.4 PSI 计算流程与分箱策略选择
下图展示了 PSI 计算的完整流程,以及分箱策略在其中的位置和作用。
2.5 PSI 阈值与解读
计算得到 PSI 值后,需要根据经验阈值判断漂移程度。以下是行业通用的 PSI 解读标准:
| PSI 值范围 | 漂移程度 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 无显著漂移 | 无需干预,继续监控 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 触发预警,排查原因,加强监控频率 |
| PSI ≥ 0.25 | 严重漂移 | 立即告警,启动模型或特征重审流程 |
团伙识别特殊场景: 在团伙攻击场景下,即使 PSI 值未达到 0.1,但如果某个特定分箱的占比变化超过 50%,也应视为异常信号。建议在监控 PSI 全局值的同时,增加对 单分箱占比变化率 的监控,作为辅助指标。