2. 模型漂移分类：数据漂移、概念漂移、模型退化的区别与联系

在生产环境中，模型性能下降并非单一原因导致。根据漂移发生的对象与机制，MLOps 领域将模型漂移归纳为三种核心类型：数据漂移 (Data Drift)、概念漂移 (Concept Drift) 和 模型退化 (Model Decay)。理解三者的区别与联系，是构建有效监控体系的前提。

2.1 数据漂移 (Data Drift)

数据漂移，又称特征漂移或协变量漂移，指模型输入特征 X 的分布随时间发生变化，而目标变量 Y 与特征 X 之间的条件分布 P(Y|X) 保持不变。简单说，就是“输入数据的模样变了，但映射关系没变”。

• 典型场景： 用户年龄分布从 20-30 岁变为 40-50 岁；电商平台商品价格因通货膨胀整体上浮；传感器因季节变化导致读数偏移。
• 检测方法： 统计检验（KS 检验、卡方检验）、分布距离度量（Wasserstein 距离、JS 散度）、特征嵌入对比。
• 影响： 模型在未见过的特征空间区域表现不佳，但若新数据仍在训练分布支撑集内，影响可能较小。

2.2 概念漂移 (Concept Drift)

概念漂移指特征 X 与目标 Y 之间的映射关系 P(Y|X) 随时间发生变化，而特征 X 的边际分布可能保持不变。简单说，就是“同样的输入，对应的答案变了”。

• 典型场景： 用户点击偏好随流行趋势改变；金融风控规则因政策调整而收紧；疫情期间的消费行为模式与疫情前完全不同。
• 检测方法： 监控模型误差率随时间的变化（如 DDM、ADWIN 算法）、监控预测置信度分布、监控残差分布。
• 影响： 通常比数据漂移更严重，因为模型学习到的“规律”已经过时，即使输入数据分布正常，预测结果也会系统性错误。

2.3 模型退化 (Model Decay)

模型退化指模型自身因长期未更新、参数老化、或训练数据与当前环境脱节而导致的性能自然衰减。它并非由单一分布变化引起，而是模型生命周期管理的必然结果。

• 典型场景： 模型部署后 6 个月未重新训练，即使数据分布和概念都未剧烈变化，模型精度仍缓慢下降；模型版本过旧，无法利用新特征。
• 检测方法： 监控模型性能指标（AUC、F1、MAE）的时间序列趋势；对比模型预测值与真实值的偏差累积。
• 影响： 渐进式性能损失，通常可通过定期重训练或增量学习缓解。

2.4 三者对比与关系

下表从多个维度对三种漂移类型进行对比，帮助快速区分：

2.5 三者关系示意图

下图展示了三种漂移在模型生命周期中的位置与相互作用关系：

2.6 在 Spark ML 中的实践要点

在 Spark 环境下处理模型漂移时，需注意以下工程要点：

1. 数据漂移检测： 利用 Spark 的 approxQuantile 和 histogram 方法，对特征列进行分布对比；使用 VectorAssembler 后的特征向量计算 Wasserstein 距离。
2. 概念漂移检测： 在 Spark Streaming 或 Structured Streaming 中，对预测结果的误差率进行滑动窗口统计，使用 ADWIN 算法检测突变。
3. 模型退化监控： 将模型性能指标写入时间序列数据库（如 InfluxDB），通过 Spark 批处理作业定期计算性能衰减斜率。
4. 告警策略： 数据漂移触发黄色告警（需关注），概念漂移触发橙色告警（需立即评估），模型退化触发红色告警（需启动重训练流水线）。