2. PSI 数学原理与公式推导

群体稳定性指标(Population Stability Index, PSI)是衡量模型评分分布随时间或样本集变化的量化工具。其核心思想是通过比较两个概率分布之间的差异程度,判断模型是否发生显著漂移。本节将从信息论基础出发,逐步推导 PSI 的数学公式,并解释分箱与概率分布对比的关键步骤。

2.1 PSI 的数学定义

PSI 的数学表达式基于两个离散概率分布之间的散度计算。设实际分布(Actual Distribution)为 \(A\),预期分布(Expected Distribution)为 \(E\),两者均被划分为 \(n\) 个等宽或等频的分箱。PSI 定义为:

PSI = Σ (A_i - E_i) * ln(A_i / E_i)   for i = 1 to n

其中:

  • A_i:第 \(i\) 个分箱中实际样本的占比(实际分布)
  • E_i:第 \(i\) 个分箱中预期样本的占比(预期分布,通常为建模时的训练集分布)
  • ln(A_i / E_i):自然对数比率,衡量两个比例之间的偏离程度
  • n:分箱总数

PSI 值越大,表示两个分布之间的差异越大,模型稳定性越差。行业经验阈值通常为:

PSI 范围 稳定性判断 建议行动
< 0.10 稳定 无需调整
0.10 – 0.25 轻度漂移 需监控并排查原因
> 0.25 显著漂移 必须重新训练或调整模型

2.2 基于信息论与分布差异的推导

PSI 的数学根源可追溯到信息论中的 Kullback-Leibler 散度(KL 散度)。KL 散度衡量两个概率分布 \(P\) 和 \(Q\) 之间的非对称差异:

KL(P || Q) = Σ P_i * ln(P_i / Q_i)

PSI 实际上是两个 KL 散度的对称化组合:

PSI = KL(A || E) + KL(E || A)

展开后得到:

PSI = Σ A_i * ln(A_i / E_i) + Σ E_i * ln(E_i / A_i)
     = Σ (A_i - E_i) * ln(A_i / E_i)

这种对称化处理使得 PSI 同时考虑了实际分布相对于预期分布的偏离,以及预期分布相对于实际分布的偏离,从而得到一个无偏的稳定性度量。

关键理解: PSI 不是简单的比例差,而是通过对数比率放大了尾部箱体的微小变化。当某个分箱中实际占比与预期占比差异较大时,对数项会显著增大 PSI 值,从而敏感地捕捉到分布漂移。

2.3 分箱与概率分布对比

PSI 的计算依赖于将连续评分结果离散化为有限数量的分箱。分箱策略直接影响 PSI 的敏感性和稳定性。常用的分箱方法包括:

  • 等宽分箱:将评分范围均匀划分为 \(n\) 个区间,每个区间宽度相同。适用于评分分布均匀的场景。
  • 等频分箱:使每个分箱包含相同数量的样本。适用于评分分布不均匀的场景,可避免空箱或样本过少的问题。
  • 自定义分箱:基于业务规则或风险等级划分,如按信用评分等级(A/B/C/D)分箱。

分箱数量 \(n\) 的选择需权衡:分箱过少会丢失细节,分箱过多则可能引入噪声。行业实践中通常取 \(n = 10\) 或 \(n = 20\)。

实践建议: 在信贷风控中,建议使用等频分箱,并确保每个分箱中预期样本数不少于 50 个,以避免因小样本导致的对数计算不稳定。
PSI 计算流程与分箱对比 PSI 计算流程与分箱对比 分箱策略对比 等宽分箱 均匀划分区间 等频分箱 样本数均等 自定义分箱 业务规则划分 推荐:等频分箱 n=10 或 n=20 PSI 计算步骤 步骤1:获取预期分布 E_i(训练集) 步骤2:获取实际分布 A_i(当前集) 步骤3:计算 Σ (A_i - E_i) * ln(A_i / E_i) PSI 阈值判断标准 PSI < 0.10 稳定 0.10 ≤ PSI ≤ 0.25 轻度漂移 PSI > 0.25 显著漂移 建议:轻度漂移时排查特征变化,显著漂移时重新训练模型

2.4 计算示例

假设某信贷模型评分范围为 0-100,分为 5 个等频分箱,预期分布与实际分布如下:

分箱 评分区间 预期占比 E_i 实际占比 A_i A_i - E_i ln(A_i / E_i) 单项 PSI
1 0-20 0.20 0.25 0.05 0.2231 0.0112
2 21-40 0.20 0.22 0.02 0.0953 0.0019
3 41-60 0.20 0.18 -0.02 -0.1054 0.0021
4 61-80 0.20 0.20 0.00 0.0000 0.0000
5 81-100 0.20 0.15 -0.05 -0.2877 0.0144
PSI 合计 0.0296

计算得到的 PSI = 0.0296 < 0.10,表明模型在当前样本上保持稳定,未发生显著漂移。

注意事项: 当某个分箱中预期占比 E_i 为 0 时,对数项 ln(A_i / 0) 无定义。实际计算中需对空箱进行平滑处理,例如将 0 替换为一个极小正值(如 0.0001),或合并相邻分箱。

2.5 PSI 的局限性

尽管 PSI 是风控模型漂移检测的常用指标,但在实际应用中存在以下局限性:

  • 对分箱方式敏感:不同的分箱策略可能导致不同的 PSI 值,需结合业务场景选择合适的分箱方法。
  • 无法区分漂移方向:PSI 仅反映分布差异的大小,无法指示评分是向高风险还是低风险方向漂移。
  • 对样本量敏感:小样本情况下,PSI 可能因随机波动而高估漂移程度。
  • 无法定位漂移原因:PSI 只能检测到漂移的存在,但无法直接指出是哪个特征或评分区间导致了漂移。

因此,在实际风控监控中,PSI 通常与特征级稳定性指标(如特征 PSI、特征分布图)结合使用,以全面评估模型健康状况。