4. PSI群体稳定性指标

群体稳定性指标(Population Stability Index, PSI)是风控模型监控中最核心的量化工具之一。它衡量的是模型评分(或关键特征)在时间维度上的分布偏移程度——即“现在的样本分布,和建模时的样本分布,到底差了多少”。

在 Champion Challenger 框架中,PSI 是判断模型是否需要退役、是否需要重新训练、以及 Challenger 是否真正优于 Champion 的关键依据。

4.1 PSI 的定义

PSI 本质上是一种基于分箱的分布距离度量。它通过比较两个样本集在相同分箱区间上的占比差异,来量化分布的整体偏移程度。

  • 预期分布(Expected):通常指模型开发时的训练集或验证集评分分布,作为基准。
  • 实际分布(Actual):当前生产环境中的模型评分分布,是需要被监控的对象。
  • 分箱(Binning):将评分区间划分为若干等宽或等频的箱子,通常为 10 箱。
核心思想:如果实际分布与预期分布完全一致,PSI = 0;差异越大,PSI 值越高。PSI 不关心模型好坏,只关心分布是否“变了”。

4.2 PSI 计算公式

PSI 的计算分为三步:分箱、计算占比、求和。公式如下:

PSI = Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i)

其中:
  i        = 第 i 个分箱
  Actual_i   = 第 i 箱中实际样本占比
  Expected_i = 第 i 箱中预期样本占比
  ln       = 自然对数

计算步骤详解:

  1. 分箱:将评分区间(如 0-1000 分)等分为 10 个区间,或按等频分箱。
  2. 统计占比:分别计算预期样本和实际样本在每个箱子中的数量占比(%)。
  3. 计算单箱贡献:对每个箱子计算 (实际占比 - 预期占比) × ln(实际占比 / 预期占比)。
  4. 求和:将所有箱子的贡献值相加,得到最终 PSI。
注意事项:当某个箱子中预期占比或实际占比为 0 时,会导致 ln(0) 计算异常。实际处理中,通常对占比做微小平滑处理(如加 0.0001),或将该箱子与相邻箱子合并。

4.3 PSI 在模型监控中的作用

在 Champion Challenger 体系中,PSI 承担着三个关键角色:

监控角色 具体作用 监控频率
分布漂移预警 当 PSI 超过阈值时,提示模型评分分布发生显著变化,可能由客群迁移、政策变化或数据质量问题引起。 每日 / 每周
模型稳定性评估 对比 Champion 和 Challenger 在同一时间窗口内的 PSI,判断哪个模型的评分分布更稳定。 每月
模型退役决策 当 Champion 模型 PSI 持续高位运行,且 Challenger 在效果和稳定性上均占优时,触发模型替换流程。 季度 / 半年度
常见误区:PSI 低不代表模型效果好,只代表分布稳定。一个“稳定地犯错”的模型,PSI 可能很低,但区分能力已经丧失。因此 PSI 必须与 KS、AUC 等区分度指标联合监控。

下图展示了 PSI 在 Champion Challenger 模型监控流程中的位置:

PSI 在 Champion Challenger 监控流程中的位置 生产环境评分 PSI 分布对比 PSI < 阈值? 分布稳定,继续监控 触发预警,排查原因 是 否 说明:PSI 是模型监控的第一道防线,与区分度指标(KS/AUC)配合使用,形成完整的模型健康度评估体系。

4.4 PSI 阈值设定

PSI 阈值没有绝对标准,需要根据业务场景、模型类型和风险偏好来设定。以下是行业通用参考:

PSI 范围 稳定性等级 建议动作
PSI < 0.1 稳定 无需干预,继续常规监控。
0.1 ≤ PSI < 0.25 轻度漂移 发出预警,排查原因(客群变化?数据源变更?),加强监控频率。
PSI ≥ 0.25 严重漂移 立即触发模型评审,准备 Champion 退役或 Challenger 上线方案。
阈值调整原则:
  • 高风险业务(如信贷审批):建议收紧阈值,PSI > 0.15 即触发预警。
  • 低风险业务(如营销评分):可适当放宽至 PSI > 0.3 再触发干预。
  • Champion vs Challenger 对比:若 Challenger 的 PSI 显著低于 Champion(如低 0.05 以上),且区分度不差,则 Challenger 更优。

下图展示了不同 PSI 阈值下的决策路径:

PSI 阈值决策路径 计算 PSI 值 PSI < 0.1 0.1 ≤ PSI < 0.25 PSI ≥ 0.25 稳定:继续监控 预警:排查原因 干预:模型替换 阈值设定建议:信贷风控模型建议使用 0.1/0.25 标准; 反欺诈模型建议收紧至 0.08/0.2;营销模型可放宽至 0.15/0.3。 实际阈值需结合模型区分度衰减速度进行动态调整。

4.5 PSI 与 Champion Challenger 的联动

在 Champion Challenger 评估中,PSI 不是孤立指标,而是与以下指标形成评估矩阵:

评估维度 核心指标 Champion 优势 Challenger 优势
区分度 KS / AUC KS > 0.3 KS 提升 > 0.02
稳定性 PSI PSI < 0.1 PSI 更低或持平
业务效果 通过率 / 坏账率 通过率稳定 坏账率下降 > 5%
实战建议:当 Challenger 的区分度优于 Champion,但 PSI 也显著高于 Champion 时,需要警惕 Challenger 可能过拟合了当前样本的噪声。此时应延长观察期,或对 Challenger 做更严格的稳定性测试。

总结:PSI 是模型监控的“体温计”,它不告诉你模型好不好,但能第一时间告诉你模型“生病了”。在 Champion Challenger 框架中,PSI 是判断模型是否健康运行、是否需要更换的核心依据之一。