3. PSI 数学原理:公式推导、期望分布与实际分布、分箱策略
群体稳定性指标(Population Stability Index, PSI)是衡量两个分布之间差异的标准化度量。在金融风控中,它被广泛用于监控模型评分或关键特征在时间维度上的分布偏移。理解 PSI 的数学原理,是正确应用该指标的前提。
3.1 PSI 公式推导
PSI 的核心思想来源于信息论中的 KL 散度(Kullback-Leibler Divergence),但做了对称化处理。其计算公式如下:
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
其中:
- P_i:第 i 个分箱中,实际分布(Actual Distribution)的样本占比。
- Q_i:第 i 个分箱中,期望分布(Expected Distribution)的样本占比。
- ln:自然对数。
- Σ:对所有分箱求和。
从公式可以看出,PSI 同时考虑了 比例差异(P_i - Q_i)和 比例变化方向(ln(P_i / Q_i))。当两个分布完全一致时,每个分箱的 P_i = Q_i,PSI = 0。差异越大,PSI 值越高。
经验阈值:
- PSI < 0.1:分布稳定,无需干预。
- 0.1 ≤ PSI < 0.25:轻度偏移,需进一步监控。
- PSI ≥ 0.25:显著偏移,必须触发模型复审或重建。
3.2 期望分布与实际分布
在 PSI 计算中,两个核心分布的定义决定了监控的方向:
| 分布类型 | 定义 | 典型来源 | 符号 |
|---|---|---|---|
| 期望分布 | 模型开发时建立的基准分布,代表“正常”状态 | 训练集、验证集、模型上线初期的样本 | Q_i |
| 实际分布 | 当前监控周期内观测到的实时分布 | 月度/季度新进件样本、线上实时评分 | P_i |
选择期望分布时需注意:如果训练集与线上客群本身存在偏差,应使用模型上线后首月或首季度的稳定样本作为基准,而非直接使用训练集。
常见误区: 期望分布并非一成不变。当业务模式发生重大调整(如获客渠道变更、产品利率调整)时,应重新校准期望分布,否则 PSI 会持续报警,失去监控意义。
3.3 分箱策略
PSI 的计算依赖于对连续变量进行分箱。分箱方式直接影响 PSI 值的敏感度和稳定性。以下是三种主流策略的对比:
| 策略 | 方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 等距分箱 | 将变量取值范围等分为 k 个区间 | 实现简单,区间边界固定 | 数据分布不均时,部分箱可能为空或样本极少 | 变量分布均匀,或需要固定刻度对比 |
| 等频分箱 | 使每个箱包含大致相等的样本数 | 避免空箱,对分布尾部敏感 | 区间边界随分布变化,跨期可比性略差 | 评分卡分数、概率输出等非均匀分布 |
| 分位数分箱 | 按指定分位数(如十分位、二十分位)切分 | 边界稳定,适合长尾分布 | 分箱数固定,可能无法捕捉局部突变 | 收入、额度等偏态分布变量 |
3.4 分箱策略对比图
下图直观展示了三种分箱策略在相同数据分布下的切分效果:
3.5 PSI 计算完整流程
结合上述原理,PSI 的完整计算步骤可归纳为:
- 确定期望分布:选择模型开发集或上线稳定期样本作为基准。
- 选择分箱策略:根据变量分布特征,从等距、等频、分位数中选取一种。
- 划分分箱边界:基于期望分布确定各箱的上下界。
- 计算期望占比 Q_i:统计期望分布中落入各箱的样本比例。
- 计算实际占比 P_i:将实际分布样本按相同边界分箱,统计各箱比例。
- 代入公式:对每个分箱计算 (P_i - Q_i) * ln(P_i / Q_i),求和得到 PSI。
工程实现提示: 当某个分箱的 P_i 或 Q_i 为 0 时,ln(P_i / Q_i) 无定义。实践中通常对空箱做平滑处理,例如将 0 替换为一个极小值(如 0.0001),或将该箱与相邻箱合并。
3.6 PSI 计算示例
假设某评分卡分数范围 300-900,采用等距分箱(5 箱),期望分布与实际分布如下:
| 分箱区间 | 期望占比 Q_i | 实际占比 P_i | P_i - Q_i | ln(P_i / Q_i) | 单项 PSI |
|---|---|---|---|---|---|
| 300-420 | 0.10 | 0.15 | 0.05 | 0.4055 | 0.0203 |
| 420-540 | 0.20 | 0.25 | 0.05 | 0.2231 | 0.0112 |
| 540-660 | 0.40 | 0.35 | -0.05 | -0.1335 | 0.0067 |
| 660-780 | 0.20 | 0.18 | -0.02 | -0.1054 | 0.0021 |
| 780-900 | 0.10 | 0.07 | -0.03 | -0.3567 | 0.0107 |
| PSI 合计 | 0.0510 | ||||
本例中 PSI = 0.051,小于 0.1,表明分布稳定,无需干预。
3.7 PSI 计算流程示意图
下图展示了从原始数据到 PSI 值的完整计算链路:
3.8 分箱策略选择决策树
在实际项目中,可按以下逻辑快速选择分箱策略:
- 变量分布是否均匀?
- 是 → 等距分箱(简单直观)
- 否 → 进入下一步判断
- 是否需要固定边界便于跨期对比?
- 是 → 分位数分箱(边界稳定)
- 否 → 等频分箱(对分布变化更敏感)
- 分箱数如何确定?
- 样本量 > 10,000:推荐 20 箱
- 样本量 1,000 ~ 10,000:推荐 10 箱
- 样本量 < 1,000:推荐 5 箱或使用 KS 检验替代
避坑提醒: 不要对分类变量(如职业、学历)使用等距或等频分箱。分类变量应直接按类别计算占比,或对低频类别进行合并后计算 PSI。