3、数据分布漂移:PSI(群体稳定性指标)原理、PSI计算公式、PSI在批次偏移中的应用
3.1 群体稳定性指标(PSI)原理
在贷款决策模型中,模型上线后并非一成不变。随着宏观经济、客群结构、获客渠道的变化,模型输入特征的分布会逐渐发生偏移。PSI(Population Stability Index)正是衡量两个样本群体在特征分布上差异程度的量化指标,是批次偏移监控中最核心的统计工具。
PSI 的核心思想:将当前批次(实际评分分布)与基准批次(建模时或上线初期的评分分布)进行对比,通过计算每个分数段内实际占比与预期占比的差异,累加得到整体偏移程度。PSI 值越大,说明分布偏移越严重,模型失效风险越高。
关键理解: PSI 不是衡量模型预测准确率,而是衡量模型输入/输出分布是否稳定。即使模型 AUC 未下降,若 PSI 持续升高,也预示着模型即将失效。
3.2 PSI 计算公式详解
PSI 的计算基于分箱(Binning)思想,将连续分数划分为 k 个等宽或等频区间。标准计算公式如下:
PSI = Σ (Ai - Ei) × ln(Ai / Ei) (i = 1, 2, ..., k)
其中:
- Ai = 当前批次在第 i 个区间内的样本占比(实际占比)
- Ei = 基准批次在第 i 个区间内的样本占比(预期占比)
- ln 为自然对数
- k 为分箱数量(通常取 10 或 20)
计算步骤:
- 确定基准分布:选取模型开发样本或上线后稳定运行的前 N 个批次作为基准,计算每个分数区间的样本占比 Ei。
- 确定当前分布:对当前监控批次,按相同分数区间划分,计算每个区间的样本占比 Ai。
- 逐区间计算:对每个区间计算 (Ai - Ei) × ln(Ai / Ei)。
- 累加求和:将所有区间的计算结果相加,得到最终的 PSI 值。
实操注意: 当 Ai 或 Ei 为 0 时,ln(Ai/Ei) 无定义。建议对空区间做平滑处理(如加 0.0001 微小值),或合并相邻区间后再计算。
3.3 PSI 在批次偏移中的应用
在贷款决策场景中,PSI 主要应用于以下三个层面的监控:
| 监控层面 | 监控对象 | 典型分箱方式 | 告警阈值参考 |
|---|---|---|---|
| 模型评分 PSI | 模型输出的信用评分/违约概率 | 等宽分箱(如每 50 分一箱) | PSI < 0.1:无偏移 0.1 ≤ PSI < 0.25:需关注 PSI ≥ 0.25:严重偏移 |
| 特征 PSI | 单个入模特征的分布 | 等频分箱(每箱样本量相近) | PSI < 0.05:稳定 0.05 ≤ PSI < 0.15:轻度偏移 PSI ≥ 0.15:显著偏移 |
| 拒绝推断 PSI | 通过/拒绝样本的评分分布 | 等宽分箱 + 拒绝权重调整 | PSI < 0.2:可接受 PSI ≥ 0.2:需重新校准 |
批次偏移告警流程:
- 日频/周频计算:对每日或每周的评分分布计算 PSI,与基准分布对比。
- 趋势判断:单次 PSI 超标可能由随机波动引起,连续 3 次以上超标才触发告警。
- 根因定位:当模型评分 PSI 超标时,进一步计算各特征的 PSI,定位导致偏移的关键特征。
- 阈值调优:根据业务容忍度调整告警阈值,高风险产品(如现金贷)可收紧阈值,低风险产品(如抵押贷)可适当放宽。
常见误区: 不要仅依赖 PSI 绝对值判断。当样本量极大时,微小偏移也会导致 PSI 显著升高。建议结合 KS 统计量、特征重要性变化等指标综合评估。
3.4 PSI 计算与偏移监控流程图
下图展示了从基准分布建立到批次偏移告警的完整流程:
3.5 PSI 与 KS 的对比
在批次偏移监控中,PSI 常与 KS(Kolmogorov-Smirnov)统计量配合使用。两者侧重点不同:
| 对比维度 | PSI | KS |
|---|---|---|
| 衡量对象 | 同一群体在不同时间点的分布差异 | 好样本与坏样本在同一时间点的分布差异 |
| 计算方式 | 分箱后逐区间计算差异 | 计算累计分布函数的最大垂直距离 |
| 监控目的 | 检测模型输入/输出的分布漂移 | 检测模型区分好坏样本的能力 |
| 告警触发 | PSI 持续升高 → 分布偏移 | KS 持续下降 → 区分力衰减 |
| 联动使用 | PSI 先告警,再查 KS 是否恶化 | KS 恶化时,需确认是否由分布偏移引起 |
最佳实践: 建议同时监控模型评分 PSI 和 Top 5 重要特征的 PSI。当模型评分 PSI 超标时,按特征重要性排序,逐一排查各特征的 PSI,快速定位导致偏移的根因特征。
3.6 阈值调优案例
某消费金融公司对线上现金贷产品进行批次偏移监控,初始阈值设置为 PSI < 0.1 为正常。运行一个月后发现:
- 模型评分 PSI 在 0.08~0.12 之间波动,频繁触发关注级告警。
- 经分析,该波动主要由节假日客群结构变化引起,并非模型失效。
- 将阈值调整为 PSI < 0.15 为正常,0.15~0.3 为关注,≥0.3 为严重偏移。
- 调整后,误报率降低 60%,同时仍能有效捕捉到渠道变更导致的真实偏移事件。
调优原则: 阈值设置需结合业务容忍度、样本量、监控频率综合确定。样本量大、监控频率高时,可适当放宽阈值;高风险产品应收紧阈值。