PSI漂移告警阈值计算实战技巧 - 第1节

1.1 PSI 的定义与数学公式

Population Stability Index（群体稳定性指标） 是衡量两个样本分布之间差异程度的统计量，在机器学习模型监控中用于量化模型评分（Score）或预测概率（Probability）在时间维度上的分布偏移程度。PSI 越小，说明两个分布越接近；PSI 越大，说明分布发生了显著漂移。

数学公式

PSI 的计算基于 分段比较，将实际分布（Actual）与期望分布（Expected）划分为相同的 k 个区间（通常为 10 等分桶），然后逐桶计算相对熵的加权和：

PSI = Σ (Actual_i - Expected_i) × ln(Actual_i / Expected_i)
其中：
  i = 1, 2, ..., k （桶序号）
  Actual_i   = 第 i 桶中实际样本占比
  Expected_i = 第 i 桶中期望样本占比

当某个桶的 Expected_i = 0 时，为避免除零，通常将该桶的贡献视为 0，或使用极小值（如 0.0001）替代。

统计学意义

PSI 本质上是 离散化后的 KL 散度（Kullback-Leibler divergence） 的对称化变体，衡量两个概率分布之间的信息损失。在模型监控场景中，PSI 反映的是模型评分分布从开发集（期望分布）到生产集（实际分布）的漂移幅度。PSI 值越大，说明模型所依赖的特征空间或目标分布发生了结构性变化，模型性能下降的风险越高。

关键理解： PSI 不是假设检验，不提供 p 值；它是一个无量纲的工程指标，通过经验阈值（如 0.1、0.25）来触发告警，适合大规模自动化监控。

1.2 PSI 计算流程与分段策略

PSI 的计算依赖合理的分段策略，分段方式直接影响 PSI 值的敏感度和稳定性。以下是标准计算流程：

  1. 确定期望分布：通常使用模型训练集、验证集或首次上线后的稳定期数据作为基准。
  2. 确定实际分布：选取当前监控周期（如最近 1 天、1 周）的模型评分数据。
  3. 分段（Binning）：将两个分布的评分范围统一划分为 k 个等宽或等频区间。
  4. 计算各桶占比：分别统计每个桶中样本数占总样本数的比例。
  5. 计算 PSI：代入公式逐桶求和。
  6. 阈值判断：将 PSI 值与预设告警阈值比较，决定是否触发漂移告警。

常用分段方式对比

分段方式 说明 适用场景 注意事项
等宽分桶 将评分范围均匀划分为 k 段 评分分布较均匀时 极端值可能导致部分桶为空
等频分桶 使每个桶包含大致相同数量的样本 评分分布偏态严重时 桶边界可能不稳定，需固定分位点
自定义分桶 根据业务含义设定边界（如信用评分 300-850） 业务有明确分段标准时 需保证期望与实际使用相同边界
工程建议： 生产环境中推荐使用 等频分桶（通常 k=10），因为等频分桶对分布形状不敏感，能更稳定地捕捉尾部漂移。等宽分桶在评分分布集中时容易产生空桶，导致 PSI 计算不稳定。

1.3 PSI 漂移的直观理解

下面通过一个内联 SVG 图展示 PSI 的几何意义：两个分布在不同桶上的占比差异被加权求和，差异越大，PSI 值越高。

PSI 漂移示意图：期望分布 vs 实际分布 PSI 漂移示意图：期望分布 vs 实际分布 评分区间（桶） 占比 10% 15% 20% 25% 20% 10% 7% 12% 18% 30% 22% 7% 期望分布（基准） 实际分布（当前） PSI = Σ (Actual - Expected) × ln(Actual/Expected) 桶 4 差异最大：(30%-25%)×ln(30%/25%) → 该桶贡献约 0.018，整体 PSI ≈ 0.12

上图中，蓝色柱为期望分布（基准），红色柱为实际分布（当前）。可以看到第 4 桶（评分区间 4）的实际占比明显高于期望，而第 3 桶的实际占比低于期望。这种分布形态的变化通过 PSI 公式被量化为一个数值，当该数值超过阈值时，系统触发漂移告警。

1.4 PSI 的统计学意义与业务解读

从统计学角度看，PSI 是 离散化 KL 散度的对称版本，具有以下性质：

  • 非负性：PSI ≥ 0，当且仅当两个分布完全相同时 PSI = 0。
  • 不对称性：虽然公式对称，但实际计算中期望分布固定，PSI 衡量的是实际分布偏离期望分布的程度。
  • 尺度敏感性：PSI 值受桶数 k 影响，k 越大，PSI 对细微漂移越敏感，但也越容易受噪声干扰。

业务解读经验阈值

PSI 范围 漂移程度 建议动作
PSI < 0.1 无显著漂移 无需告警，继续监控
0.1 ≤ PSI < 0.25 轻度漂移 发出提示，建议排查特征分布变化
PSI ≥ 0.25 严重漂移 触发告警，立即评估模型是否需要重训
注意： 上述阈值是行业通用经验值，实际项目中应根据模型重要性、业务容忍度、数据量级等因素动态调整。例如，风控模型可能要求 PSI < 0.05 才视为稳定，而推荐模型可容忍 PSI 达到 0.3。

1.5 PSI 与模型监控的关系

PSI 是模型监控体系中的核心指标之一，通常与以下指标配合使用：

  • 特征 PSI：分别计算每个特征的 PSI，定位具体哪个特征发生了漂移。
  • 模型性能指标：如 AUC、准确率、召回率等，PSI 上升往往伴随性能下降。
  • 数据质量指标：缺失率、异常值比例等，辅助判断漂移原因。

下面通过一个内联 SVG 图展示 PSI 在模型监控体系中的位置：

PSI 在模型监控体系中的位置 PSI 在模型监控体系中的位置 模型评分 PSI 整体分布漂移 输入数据 特征 PSI 分析 模型性能监控 告警与重训 PSI 作为整体漂移指标，先触发告警，再通过特征 PSI 定位原因，结合性能指标确认影响，最终决定是否重训模型。 这种分层监控策略可避免因单一指标误判导致的无效告警。

在实际监控系统中，PSI 通常作为 第一道防线：当模型评分 PSI 超过阈值时，系统自动触发特征 PSI 分析，定位漂移来源，同时检查模型性能指标是否同步下降。这种分层策略可以有效减少误报，提高告警的精准度。

← 上一章 📖 返回目录 下一章 →