1. PSI 基础概念:什么是群体稳定性指标

1.1 群体稳定性指标的定义

群体稳定性指标(Population Stability Index,PSI) 是衡量两个样本分布之间差异程度的统计量。在风控、营销、信用评分等机器学习模型监控场景中,PSI 用于量化模型评分或特征分布在 时间维度 上的变化幅度,从而判断模型是否发生“漂移”。

PSI 的核心思想是:如果模型在训练集(或基准期)上的输出分布,与当前生产环境(或观察期)上的输出分布高度一致,则模型表现稳定;反之,若分布差异显著,则模型可能已失效,需要重新训练或调整。

业务视角: PSI 不是衡量模型“准不准”的指标,而是衡量模型“稳不稳”的指标。一个高准确率的模型如果发生漂移,其预测结果将逐渐偏离真实分布,最终导致业务决策失误。

1.2 PSI 的数学定义

PSI 的计算基于 分箱(Binning) 思想,将连续分布离散化为若干区间,然后比较每个区间内样本占比的变化。其数学公式如下:

PSI = Σ (P_i - Q_i) × ln(P_i / Q_i)

其中:

  • P_i:基准期(如训练集、上个月)第 i 个分箱中的样本占比
  • Q_i:观察期(如当前生产数据、本月)第 i 个分箱中的样本占比
  • ln(P_i / Q_i):两个占比比值的自然对数,用于放大差异
  • Σ:对所有分箱求和

PSI 的取值区间为 [0, +∞)。当 P_i 与 Q_i 完全相等时,PSI = 0;差异越大,PSI 值越高。

1.3 分箱策略与计算步骤

实际计算 PSI 时,通常采用 等距分箱 或 等频分箱,分箱数量一般取 10 或 20。以下是标准计算流程:

步骤 操作 说明
1 确定基准分布 取模型训练集或历史稳定期的评分/特征值作为基准
2 划分分箱 按等距或等频原则将基准分布划分为 N 个区间(通常 N=10)
3 计算基准占比 P_i 统计每个分箱内样本数占总样本数的比例
4 映射观察期数据 将观察期样本按相同分箱边界落入对应区间
5 计算观察期占比 Q_i 统计观察期每个分箱内样本数占总样本数的比例
6 计算 PSI 代入公式 Σ (P_i - Q_i) × ln(P_i / Q_i)
避坑提示: 当某个分箱在观察期占比 Q_i = 0 时,ln(P_i / 0) 无定义。实际工程中需做平滑处理,例如将 0 替换为一个极小值(如 0.0001),或采用拉普拉斯平滑。

1.4 PSI 的业务意义与解读

在工业界,PSI 通常按以下阈值区间进行解读:

PSI 范围 漂移程度 业务建议
PSI < 0.1 无显著漂移 模型稳定,无需干预
0.1 ≤ PSI < 0.25 轻度漂移 需关注,排查特征或环境变化
PSI ≥ 0.25 严重漂移 模型已失效,需立即重新训练或回滚

这些阈值并非绝对,不同业务场景可灵活调整。例如,在信贷风控中,PSI > 0.2 即触发告警;而在营销推荐场景中,PSI > 0.3 才视为异常。

1.5 PSI 计算示例(SVG 流程图)

下图展示了 PSI 从数据输入到告警输出的完整计算链路:

PSI 计算与漂移判定流程 基准数据(训练集) 观察数据(生产) 等频/等距分箱 按基准边界映射 计算 P_i 计算 Q_i PSI = Σ (P_i - Q_i) × ln(P_i / Q_i) PSI ≥ 阈值 → 触发漂移告警 时间维度对比

1.6 PSI 与 KL 散度的关系

从信息论角度看,PSI 本质上是 对称化的 KL 散度。KL 散度衡量两个分布 P 和 Q 之间的非对称差异,而 PSI 同时考虑了 P→Q 和 Q→P 两个方向的信息损失:

PSI = KL(P || Q) + KL(Q || P)

这种对称性使得 PSI 对分布的双向变化都敏感,更适合作为模型监控的稳定性指标。

关键总结: PSI 是模型监控领域最常用的分布漂移度量工具。它通过分箱比较、对数加权、对称求和的方式,将复杂的分布差异压缩为一个可量化的数值,为告警阈值设定提供了数学基础。