2. PSI指标基础:群体稳定性指标(PSI)的数学定义、计算公式推导、PSI的统计学意义
2.1 群体稳定性指标(PSI)的数学定义
群体稳定性指标(Population Stability Index,PSI)是衡量两个样本分布之间差异程度的统计量。在反洗钱风控模型中,PSI 用于监测模型评分或特征分布在时间维度上的变化,从而判断模型是否发生“漂移”。
PSI 的核心思想是:将连续变量分箱后,比较每个箱中实际占比与预期占比的差异,并对差异进行加权求和。其数学本质是 信息论中的 KL 散度(Kullback-Leibler divergence)的对称化形式。
核心定义: PSI 衡量的是“实际分布”相对于“预期分布”的偏移程度。PSI 值越大,说明两个分布的差异越大,模型越可能发生漂移。
2.2 计算公式推导
PSI 的计算分为三个步骤:分箱、计算占比、计算 PSI 值。
步骤一:分箱(Binning)
将连续变量(如模型评分、特征值)划分为 k 个等宽或等频的区间(箱)。通常建议分箱数量在 10~20 之间,以保证统计稳定性。
步骤二:计算每个箱的占比
- 预期占比(Expected Proportion, Ei):模型开发时(基准期)落在第 i 个箱中的样本数占总样本数的比例。
- 实际占比(Actual Proportion, Ai):模型监测时(观察期)落在第 i 个箱中的样本数占总样本数的比例。
步骤三:计算 PSI 值
PSI 的完整计算公式如下:
PSI = Σ [(Aᵢ - Eᵢ) × ln(Aᵢ / Eᵢ)] (i = 1, 2, ..., k)
其中:
- Aᵢ:第 i 个箱的实际占比
- Eᵢ:第 i 个箱的预期占比
- ln(Aᵢ / Eᵢ):实际占比与预期占比比值的自然对数
- k:分箱总数
公式推导要点: 当 Aᵢ = Eᵢ 时,ln(Aᵢ / Eᵢ) = 0,且 (Aᵢ - Eᵢ) = 0,该箱对 PSI 的贡献为 0。当 Aᵢ 与 Eᵢ 差异越大,PSI 值越大。
特殊情况处理
当某个箱的预期占比 Eᵢ = 0 时,公式中的 ln(Aᵢ / 0) 无定义。实际应用中,通常采用以下两种处理方式:
- 平滑处理:对每个箱的计数加 0.5 或 1(Laplace 平滑),避免零值。
- 合并箱:将预期占比为 0 的箱与相邻箱合并,直到所有箱的预期占比 > 0。
2.3 PSI 的统计学意义
PSI 的统计学意义可以从以下三个维度理解:
| 维度 | 解释 | 与反洗钱模型的关系 |
|---|---|---|
| 分布差异度量 | PSI 量化了两个概率分布之间的“距离”。值越大,分布差异越大。 | 模型评分分布发生偏移,说明模型对当前样本的区分能力可能下降。 |
| 信息论视角 | PSI 是 KL 散度的对称化形式,衡量从一个分布到另一个分布的信息损失。 | 信息损失越大,模型基于历史数据学到的规律越不适用于当前数据。 |
| 业务阈值意义 | 行业通用阈值:PSI < 0.1 表示无显著漂移;0.1 ≤ PSI < 0.25 表示轻度漂移;PSI ≥ 0.25 表示严重漂移。 | 当 PSI 超过阈值时,需要触发模型重训或特征工程调整。 |
注意: PSI 对分箱方式敏感。等频分箱和等宽分箱可能得到不同的 PSI 值。建议在模型开发阶段固定分箱方式,并在监测阶段保持一致,以保证 PSI 的可比性。
2.4 PSI 计算示例
假设某反洗钱模型的评分范围为 0~100,分 5 个等宽箱。基准期和观察期的样本分布如下:
| 评分区间 | 基准期样本数 | 基准期占比 Eᵢ | 观察期样本数 | 观察期占比 Aᵢ | (Aᵢ - Eᵢ) | ln(Aᵢ / Eᵢ) | 单项贡献 |
|---|---|---|---|---|---|---|---|
| [0, 20) | 200 | 0.20 | 150 | 0.15 | -0.05 | -0.2877 | 0.0144 |
| [20, 40) | 300 | 0.30 | 250 | 0.25 | -0.05 | -0.1823 | 0.0091 |
| [40, 60) | 250 | 0.25 | 300 | 0.30 | 0.05 | 0.1823 | 0.0091 |
| [60, 80) | 150 | 0.15 | 200 | 0.20 | 0.05 | 0.2877 | 0.0144 |
| [80, 100] | 100 | 0.10 | 100 | 0.10 | 0.00 | 0.0000 | 0.0000 |
| 合计 | 1000 | 1.00 | 1000 | 1.00 | — | — | 0.0470 |
计算得到 PSI = 0.0470 < 0.1,说明该模型评分分布在观察期未发生显著漂移,模型稳定性良好。
2.5 PSI 与 KL 散度的关系
PSI 与 KL 散度(Kullback-Leibler divergence)密切相关。KL 散度定义为:
KL(P || Q) = Σ Pᵢ × ln(Pᵢ / Qᵢ)
其中 P 为实际分布,Q 为预期分布。PSI 实际上是两个 KL 散度的对称和:
PSI = KL(A || E) + KL(E || A)
= Σ Aᵢ × ln(Aᵢ / Eᵢ) + Σ Eᵢ × ln(Eᵢ / Aᵢ)
= Σ (Aᵢ - Eᵢ) × ln(Aᵢ / Eᵢ)
这种对称化处理使得 PSI 具有以下优点:
- 非负性:PSI ≥ 0,当且仅当两个分布完全相同时 PSI = 0。
- 对称性:PSI(P, Q) = PSI(Q, P),即交换实际分布和预期分布,PSI 值不变。
- 有界性:虽然理论上 PSI 无上界,但在实际业务中通常不会超过 1.0。
关键理解: PSI 的对称性使其比 KL 散度更适合作为模型漂移监测指标,因为它不依赖于“哪个分布是基准”的方向性选择。
2.6 PSI 计算流程示意图
下图展示了 PSI 计算的完整流程,从原始数据输入到最终漂移判断:
2.7 PSI 的优缺点总结
| 优点 | 缺点 |
|---|---|
| 计算简单,易于实现 | 对分箱方式敏感,不同分箱策略可能导致不同结果 |
| 具有对称性,不依赖方向 | 无法区分“分布偏移”和“样本量变化”的影响 |
| 有明确的业务阈值标准 | 对极端值敏感,需要平滑处理 |
| 适用于连续变量和离散变量 | 无法提供漂移的具体原因(哪个特征导致漂移) |
实战建议: 在反洗钱模型监测中,建议同时计算模型评分 PSI 和每个特征的 PSI。模型评分 PSI 用于判断模型整体是否漂移,特征 PSI 用于定位漂移的具体来源。