3、数据分布漂移:PSI(群体稳定性指标)原理、PSI计算公式、PSI在批次偏移中的应用

3.1 群体稳定性指标(PSI)原理

在贷款决策模型中,模型上线后并非一成不变。随着宏观经济、客群结构、获客渠道的变化,模型输入特征的分布会逐渐发生偏移。PSI(Population Stability Index)正是衡量两个样本群体在特征分布上差异程度的量化指标,是批次偏移监控中最核心的统计工具。

PSI 的核心思想:将当前批次(实际评分分布)与基准批次(建模时或上线初期的评分分布)进行对比,通过计算每个分数段内实际占比与预期占比的差异,累加得到整体偏移程度。PSI 值越大,说明分布偏移越严重,模型失效风险越高。

关键理解: PSI 不是衡量模型预测准确率,而是衡量模型输入/输出分布是否稳定。即使模型 AUC 未下降,若 PSI 持续升高,也预示着模型即将失效。

3.2 PSI 计算公式详解

PSI 的计算基于分箱(Binning)思想,将连续分数划分为 k 个等宽或等频区间。标准计算公式如下:

PSI = Σ (Ai - Ei) × ln(Ai / Ei)   (i = 1, 2, ..., k)

其中:
- Ai = 当前批次在第 i 个区间内的样本占比(实际占比)
- Ei = 基准批次在第 i 个区间内的样本占比(预期占比)
- ln 为自然对数
- k 为分箱数量(通常取 10 或 20)

计算步骤:

  1. 确定基准分布:选取模型开发样本或上线后稳定运行的前 N 个批次作为基准,计算每个分数区间的样本占比 Ei。
  2. 确定当前分布:对当前监控批次,按相同分数区间划分,计算每个区间的样本占比 Ai。
  3. 逐区间计算:对每个区间计算 (Ai - Ei) × ln(Ai / Ei)。
  4. 累加求和:将所有区间的计算结果相加,得到最终的 PSI 值。
实操注意: 当 Ai 或 Ei 为 0 时,ln(Ai/Ei) 无定义。建议对空区间做平滑处理(如加 0.0001 微小值),或合并相邻区间后再计算。

3.3 PSI 在批次偏移中的应用

在贷款决策场景中,PSI 主要应用于以下三个层面的监控:

监控层面 监控对象 典型分箱方式 告警阈值参考
模型评分 PSI 模型输出的信用评分/违约概率 等宽分箱(如每 50 分一箱) PSI < 0.1:无偏移
0.1 ≤ PSI < 0.25:需关注
PSI ≥ 0.25:严重偏移
特征 PSI 单个入模特征的分布 等频分箱(每箱样本量相近) PSI < 0.05:稳定
0.05 ≤ PSI < 0.15:轻度偏移
PSI ≥ 0.15:显著偏移
拒绝推断 PSI 通过/拒绝样本的评分分布 等宽分箱 + 拒绝权重调整 PSI < 0.2:可接受
PSI ≥ 0.2:需重新校准

批次偏移告警流程:

  • 日频/周频计算:对每日或每周的评分分布计算 PSI,与基准分布对比。
  • 趋势判断:单次 PSI 超标可能由随机波动引起,连续 3 次以上超标才触发告警。
  • 根因定位:当模型评分 PSI 超标时,进一步计算各特征的 PSI,定位导致偏移的关键特征。
  • 阈值调优:根据业务容忍度调整告警阈值,高风险产品(如现金贷)可收紧阈值,低风险产品(如抵押贷)可适当放宽。
常见误区: 不要仅依赖 PSI 绝对值判断。当样本量极大时,微小偏移也会导致 PSI 显著升高。建议结合 KS 统计量、特征重要性变化等指标综合评估。

3.4 PSI 计算与偏移监控流程图

下图展示了从基准分布建立到批次偏移告警的完整流程:

PSI 批次偏移监控流程 PSI 批次偏移监控流程图 基准分布 (Ei) 当前分布 (Ai) 分箱对齐 (k=10) 逐区间计算 (Ai-Ei)×ln(Ai/Ei) 累加 → PSI 值 PSI ≥ 阈值 ? 说明: 基准分布通常取建模样本 或上线后稳定运行的前 30 天。 分箱数量 k 建议 10~20 箱。 阈值参考: PSI < 0.1 → 无偏移 0.1 ≤ PSI < 0.25 → 需关注 PSI ≥ 0.25 → 严重偏移

3.5 PSI 与 KS 的对比

在批次偏移监控中,PSI 常与 KS(Kolmogorov-Smirnov)统计量配合使用。两者侧重点不同:

对比维度 PSI KS
衡量对象 同一群体在不同时间点的分布差异 好样本与坏样本在同一时间点的分布差异
计算方式 分箱后逐区间计算差异 计算累计分布函数的最大垂直距离
监控目的 检测模型输入/输出的分布漂移 检测模型区分好坏样本的能力
告警触发 PSI 持续升高 → 分布偏移 KS 持续下降 → 区分力衰减
联动使用 PSI 先告警,再查 KS 是否恶化 KS 恶化时,需确认是否由分布偏移引起
最佳实践: 建议同时监控模型评分 PSI 和 Top 5 重要特征的 PSI。当模型评分 PSI 超标时,按特征重要性排序,逐一排查各特征的 PSI,快速定位导致偏移的根因特征。

3.6 阈值调优案例

某消费金融公司对线上现金贷产品进行批次偏移监控,初始阈值设置为 PSI < 0.1 为正常。运行一个月后发现:

  • 模型评分 PSI 在 0.08~0.12 之间波动,频繁触发关注级告警。
  • 经分析,该波动主要由节假日客群结构变化引起,并非模型失效。
  • 将阈值调整为 PSI < 0.15 为正常,0.15~0.3 为关注,≥0.3 为严重偏移。
  • 调整后,误报率降低 60%,同时仍能有效捕捉到渠道变更导致的真实偏移事件。
调优原则: 阈值设置需结合业务容忍度、样本量、监控频率综合确定。样本量大、监控频率高时,可适当放宽阈值;高风险产品应收紧阈值。