数据漂移检测：PSI与哨兵应用 - 第1节

1.1 什么是数据漂移

在机器学习生产环境中，模型表现随时间下降是常见现象。根本原因往往是数据分布发生了变化——即“数据漂移”（Data Drift）。数据漂移指的是模型训练时所依赖的数据分布，与模型上线后实际接收到的数据分布之间产生了统计意义上的显著差异。

数据漂移的检测是 MLOps 中模型监控的核心环节。通过持续监控输入特征、模型输出和真实标签的分布变化，团队可以在模型失效前发出预警，并触发重新训练或回滚等补救动作。

1.2 数据漂移的常见类型

根据分布变化发生的对象不同，数据漂移通常分为三类：协变量漂移、先验概率漂移和概念漂移。下表从定义、影响对象和典型场景三个维度进行对比：

1.2.1 协变量漂移（Covariate Shift）

协变量漂移是最常见的数据漂移类型。它指模型输入特征 X 的边缘分布 P(X) 发生了改变，但给定特征后标签的条件分布 P(Y|X) 保持不变。换句话说，数据“长相”变了，但“规律”没变。

• 检测方法： 比较训练集与生产集的特征分布差异，常用 PSI（Population Stability Index）、KS 检验、JS 散度等。
• 典型例子： 一个房价预测模型在训练时使用的房屋面积集中在 50-150 ㎡，但上线后输入数据中出现了大量 200-300 ㎡ 的豪宅。虽然面积与房价的关系（每平米单价）不变，但模型在未见过的特征区间上可能表现不佳。

1.2.2 先验概率漂移（Prior Probability Shift）

先验概率漂移指标签 Y 的边缘分布 P(Y) 发生了变化，而特征在给定标签下的条件分布 P(X|Y) 保持不变。这种漂移通常反映的是业务环境或人群结构的变化。

• 检测方法： 监控标签分布比例的变化，例如通过滑动窗口统计正样本率。
• 典型例子： 在信贷风控模型中，正常还款与违约的总体比例从 95:5 变为 85:15。虽然违约用户的特征模式（如收入、负债率）没有变，但模型输出的概率校准会严重偏移。

1.2.3 概念漂移（Concept Drift）

概念漂移是最具破坏性的一类漂移。它指特征与标签之间的映射关系 P(Y|X) 发生了根本性改变。模型学到的“规律”本身已经过时，即使输入特征分布不变，预测也会失效。

• 检测方法： 监控模型预测误差随时间的变化趋势，或使用 DDM（Drift Detection Method）、ADWIN 等在线检测算法。
• 典型例子： 电商推荐模型中，“用户点击羽绒服”的特征模式在夏季和冬季完全不同。夏季点击羽绒服的用户可能是在浏览反季促销，而冬季点击则代表真实购买意图。模型如果不感知季节变化，就会把夏季点击误判为高购买意向。

1.3 三类漂移的关系与对比

下面的 SVG 图从数据生成过程的角度，直观展示三类漂移在概率链中的位置差异：

从图中可以清晰看到：协变量漂移发生在特征分布 P(X) 环节，先验概率漂移发生在标签分布 P(Y) 环节，而概念漂移直接作用于映射关系 P(Y|X)。理解这一链条有助于我们在实际监控中精准定位漂移源头。

1.4 漂移检测的挑战与应对思路

在实际 MLOps 场景中，数据漂移检测面临以下主要挑战：

• 标签延迟： 真实标签往往需要数天甚至数周才能获取，导致概念漂移检测滞后。
• 多维度监控： 特征数量可能成百上千，逐维度检测会产生大量告警噪音。
• 季节性波动： 业务数据天然存在周期性变化（如节假日效应），容易与真实漂移混淆。