3. PSI 数学原理:公式推导、期望分布与实际分布、分箱策略

群体稳定性指标(Population Stability Index, PSI)是衡量两个分布之间差异的标准化度量。在金融风控中,它被广泛用于监控模型评分或关键特征在时间维度上的分布偏移。理解 PSI 的数学原理,是正确应用该指标的前提。

3.1 PSI 公式推导

PSI 的核心思想来源于信息论中的 KL 散度(Kullback-Leibler Divergence),但做了对称化处理。其计算公式如下:

PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)

其中:

  • P_i:第 i 个分箱中,实际分布(Actual Distribution)的样本占比。
  • Q_i:第 i 个分箱中,期望分布(Expected Distribution)的样本占比。
  • ln:自然对数。
  • Σ:对所有分箱求和。

从公式可以看出,PSI 同时考虑了 比例差异(P_i - Q_i)和 比例变化方向(ln(P_i / Q_i))。当两个分布完全一致时,每个分箱的 P_i = Q_i,PSI = 0。差异越大,PSI 值越高。

经验阈值:
  • PSI < 0.1:分布稳定,无需干预。
  • 0.1 ≤ PSI < 0.25:轻度偏移,需进一步监控。
  • PSI ≥ 0.25:显著偏移,必须触发模型复审或重建。

3.2 期望分布与实际分布

在 PSI 计算中,两个核心分布的定义决定了监控的方向:

分布类型 定义 典型来源 符号
期望分布 模型开发时建立的基准分布,代表“正常”状态 训练集、验证集、模型上线初期的样本 Q_i
实际分布 当前监控周期内观测到的实时分布 月度/季度新进件样本、线上实时评分 P_i

选择期望分布时需注意:如果训练集与线上客群本身存在偏差,应使用模型上线后首月或首季度的稳定样本作为基准,而非直接使用训练集。

常见误区: 期望分布并非一成不变。当业务模式发生重大调整(如获客渠道变更、产品利率调整)时,应重新校准期望分布,否则 PSI 会持续报警,失去监控意义。

3.3 分箱策略

PSI 的计算依赖于对连续变量进行分箱。分箱方式直接影响 PSI 值的敏感度和稳定性。以下是三种主流策略的对比:

策略 方法 优点 缺点 适用场景
等距分箱 将变量取值范围等分为 k 个区间 实现简单,区间边界固定 数据分布不均时,部分箱可能为空或样本极少 变量分布均匀,或需要固定刻度对比
等频分箱 使每个箱包含大致相等的样本数 避免空箱,对分布尾部敏感 区间边界随分布变化,跨期可比性略差 评分卡分数、概率输出等非均匀分布
分位数分箱 按指定分位数(如十分位、二十分位)切分 边界稳定,适合长尾分布 分箱数固定,可能无法捕捉局部突变 收入、额度等偏态分布变量

3.4 分箱策略对比图

下图直观展示了三种分箱策略在相同数据分布下的切分效果:

三种分箱策略对比(同一分布) 数据密度 等距分箱 箱1 箱2 箱3 箱4 箱5 等频分箱 箱1 箱2 箱3 箱4 箱5 分位数分箱(十分位) 1 2 3 4 5 6 7 8 9 10 分箱策略选择建议 • 等距分箱:适合评分卡分数(如300-900分),区间含义明确,便于业务解释。 • 等频分箱:适合概率输出(如0-1),避免尾部空箱,对分布变化更敏感。 • 分位数分箱:适合长尾分布(如收入、额度),边界稳定,跨期可比性强。 • 通用建议:分箱数通常取10-20个,过少会丢失细节,过多会导致噪声放大。

3.5 PSI 计算完整流程

结合上述原理,PSI 的完整计算步骤可归纳为:

  1. 确定期望分布:选择模型开发集或上线稳定期样本作为基准。
  2. 选择分箱策略:根据变量分布特征,从等距、等频、分位数中选取一种。
  3. 划分分箱边界:基于期望分布确定各箱的上下界。
  4. 计算期望占比 Q_i:统计期望分布中落入各箱的样本比例。
  5. 计算实际占比 P_i:将实际分布样本按相同边界分箱,统计各箱比例。
  6. 代入公式:对每个分箱计算 (P_i - Q_i) * ln(P_i / Q_i),求和得到 PSI。
工程实现提示: 当某个分箱的 P_i 或 Q_i 为 0 时,ln(P_i / Q_i) 无定义。实践中通常对空箱做平滑处理,例如将 0 替换为一个极小值(如 0.0001),或将该箱与相邻箱合并。

3.6 PSI 计算示例

假设某评分卡分数范围 300-900,采用等距分箱(5 箱),期望分布与实际分布如下:

分箱区间 期望占比 Q_i 实际占比 P_i P_i - Q_i ln(P_i / Q_i) 单项 PSI
300-420 0.10 0.15 0.05 0.4055 0.0203
420-540 0.20 0.25 0.05 0.2231 0.0112
540-660 0.40 0.35 -0.05 -0.1335 0.0067
660-780 0.20 0.18 -0.02 -0.1054 0.0021
780-900 0.10 0.07 -0.03 -0.3567 0.0107
PSI 合计 0.0510

本例中 PSI = 0.051,小于 0.1,表明分布稳定,无需干预。

3.7 PSI 计算流程示意图

下图展示了从原始数据到 PSI 值的完整计算链路:

PSI 计算流程 期望分布 Q_i 实际分布 P_i 分箱策略选择 分箱 & 占比计算 PSI = Σ(P-Q)·ln(P/Q) 关键:分箱边界必须由期望分布确定,实际分布沿用相同边界,确保可比性。

3.8 分箱策略选择决策树

在实际项目中,可按以下逻辑快速选择分箱策略:

  • 变量分布是否均匀?
    • 是 → 等距分箱(简单直观)
    • 否 → 进入下一步判断
  • 是否需要固定边界便于跨期对比?
    • 是 → 分位数分箱(边界稳定)
    • 否 → 等频分箱(对分布变化更敏感)
  • 分箱数如何确定?
    • 样本量 > 10,000:推荐 20 箱
    • 样本量 1,000 ~ 10,000:推荐 10 箱
    • 样本量 < 1,000:推荐 5 箱或使用 KS 检验替代
避坑提醒: 不要对分类变量(如职业、学历)使用等距或等频分箱。分类变量应直接按类别计算占比,或对低频类别进行合并后计算 PSI。