1. PSI 基础概念:什么是群体稳定性指标
1.1 群体稳定性指标的定义
群体稳定性指标(Population Stability Index,PSI) 是衡量两个样本分布之间差异程度的统计量。在风控、营销、信用评分等机器学习模型监控场景中,PSI 用于量化模型评分或特征分布在 时间维度 上的变化幅度,从而判断模型是否发生“漂移”。
PSI 的核心思想是:如果模型在训练集(或基准期)上的输出分布,与当前生产环境(或观察期)上的输出分布高度一致,则模型表现稳定;反之,若分布差异显著,则模型可能已失效,需要重新训练或调整。
业务视角: PSI 不是衡量模型“准不准”的指标,而是衡量模型“稳不稳”的指标。一个高准确率的模型如果发生漂移,其预测结果将逐渐偏离真实分布,最终导致业务决策失误。
1.2 PSI 的数学定义
PSI 的计算基于 分箱(Binning) 思想,将连续分布离散化为若干区间,然后比较每个区间内样本占比的变化。其数学公式如下:
PSI = Σ (P_i - Q_i) × ln(P_i / Q_i)
其中:
- P_i:基准期(如训练集、上个月)第 i 个分箱中的样本占比
- Q_i:观察期(如当前生产数据、本月)第 i 个分箱中的样本占比
- ln(P_i / Q_i):两个占比比值的自然对数,用于放大差异
- Σ:对所有分箱求和
PSI 的取值区间为 [0, +∞)。当 P_i 与 Q_i 完全相等时,PSI = 0;差异越大,PSI 值越高。
1.3 分箱策略与计算步骤
实际计算 PSI 时,通常采用 等距分箱 或 等频分箱,分箱数量一般取 10 或 20。以下是标准计算流程:
| 步骤 | 操作 | 说明 |
|---|---|---|
| 1 | 确定基准分布 | 取模型训练集或历史稳定期的评分/特征值作为基准 |
| 2 | 划分分箱 | 按等距或等频原则将基准分布划分为 N 个区间(通常 N=10) |
| 3 | 计算基准占比 P_i | 统计每个分箱内样本数占总样本数的比例 |
| 4 | 映射观察期数据 | 将观察期样本按相同分箱边界落入对应区间 |
| 5 | 计算观察期占比 Q_i | 统计观察期每个分箱内样本数占总样本数的比例 |
| 6 | 计算 PSI | 代入公式 Σ (P_i - Q_i) × ln(P_i / Q_i) |
避坑提示: 当某个分箱在观察期占比 Q_i = 0 时,ln(P_i / 0) 无定义。实际工程中需做平滑处理,例如将 0 替换为一个极小值(如 0.0001),或采用拉普拉斯平滑。
1.4 PSI 的业务意义与解读
在工业界,PSI 通常按以下阈值区间进行解读:
| PSI 范围 | 漂移程度 | 业务建议 |
|---|---|---|
| PSI < 0.1 | 无显著漂移 | 模型稳定,无需干预 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 需关注,排查特征或环境变化 |
| PSI ≥ 0.25 | 严重漂移 | 模型已失效,需立即重新训练或回滚 |
这些阈值并非绝对,不同业务场景可灵活调整。例如,在信贷风控中,PSI > 0.2 即触发告警;而在营销推荐场景中,PSI > 0.3 才视为异常。
1.5 PSI 计算示例(SVG 流程图)
下图展示了 PSI 从数据输入到告警输出的完整计算链路:
1.6 PSI 与 KL 散度的关系
从信息论角度看,PSI 本质上是 对称化的 KL 散度。KL 散度衡量两个分布 P 和 Q 之间的非对称差异,而 PSI 同时考虑了 P→Q 和 Q→P 两个方向的信息损失:
PSI = KL(P || Q) + KL(Q || P)
这种对称性使得 PSI 对分布的双向变化都敏感,更适合作为模型监控的稳定性指标。
关键总结: PSI 是模型监控领域最常用的分布漂移度量工具。它通过分箱比较、对数加权、对称求和的方式,将复杂的分布差异压缩为一个可量化的数值,为告警阈值设定提供了数学基础。