4. 数据漂移（Covariate Shift）：定义、成因与检测方法概览
4.1 定义：输入分布的变化
数据漂移（Covariate Shift），又称特征漂移或输入漂移，是模型风险管理中最基础、最常见的漂移类型。它特指模型输入特征 X 的边缘分布 P(X) 在生产环境与训练/验证环境之间发生了显著变化，而条件分布 P(Y|X)（即输入到输出的映射关系）保持不变。
核心公式：
训练环境：
简言之：“数据变了，但规律没变”。
训练环境：
P_train(X) ≠ P_prod(X)，但 P_train(Y|X) = P_prod(Y|X)。简言之：“数据变了，但规律没变”。
数据漂移是模型性能衰减的早期预警信号。由于模型依赖训练数据中学到的特征分布进行推理，当输入分布偏移时，模型会进入“陌生区域”，导致预测置信度下降、误差增大，甚至完全失效。
4.2 主要成因
数据漂移的根源可归纳为两大类：数据采集变化与环境变化。下表对比了两种成因的典型场景与影响。
| 成因类别 | 具体原因 | 典型场景 | 对模型的影响 |
|---|---|---|---|
| 数据采集变化 | 传感器/设备更换 | 工业 IoT 中更换了精度不同的温度传感器 | 特征数值范围偏移，模型无法正确校准 |
| 数据管道升级 | ETL 流程中新增了缺失值填充逻辑 | 特征分布出现人为突变，统计量失真 | |
| 采样偏差 | 线上只采集了活跃用户数据，忽略了沉默用户 | 模型对长尾用户群体失效 | |
| 环境变化 | 市场/经济周期 | 信贷模型在利率上升期遇到新的借贷行为模式 | 收入、负债率等特征分布整体迁移 |
| 季节/时间效应 | 电商模型在“双十一”期间流量特征剧变 | 特征峰值、方差远超训练集范围 | |
| 政策/法规变更 | 金融监管调整了贷款额度上限 | 特征空间出现截断或新边界 |
实战提示：数据采集变化通常是“人为可控”的，可以通过版本管理、数据血缘追踪来快速定位；环境变化则是“不可控”的，需要建立持续监控机制，并设计自适应策略。
4.3 数据漂移检测方法概览
检测数据漂移的核心思路是：比较生产数据分布与参考数据分布（训练集/验证集）之间的差异。根据特征类型和分布假设，检测方法可分为以下三大类。
4.3.1 统计假设检验方法
- KS 检验（Kolmogorov-Smirnov Test）：适用于连续型特征。计算两个经验分布的最大垂直距离，p 值小于阈值（如 0.05）则判定漂移。
- 卡方检验（Chi-Square Test）：适用于分类型特征。比较观测频数与期望频数的差异，适合离散分布对比。
- Wasserstein 距离（Earth Mover's Distance）：衡量将一个分布“搬运”成另一个分布所需的最小成本，对分布形状变化敏感，适合高维数据。
4.3.2 基于距离/散度的方法
- KL 散度（Kullback-Leibler Divergence）：衡量两个概率分布的非对称差异，值越大表示漂移越严重。
- JS 散度（Jensen-Shannon Divergence）：KL 散度的对称化版本，值域 [0, 1]，更稳定。
- PSI（Population Stability Index）：金融风控领域最常用的指标，将特征分箱后计算各箱占比的差异，公式为：
PSI = Σ (P_prod_i - P_ref_i) * ln(P_prod_i / P_ref_i)。
4.3.3 基于模型的方法
- 域分类器（Domain Classifier）：训练一个二分类模型，区分样本来自训练集还是生产集。如果分类器 AUC 显著高于 0.5，说明两个分布可区分，即存在漂移。
- 密度比估计（Density Ratio Estimation）：直接估计
P_prod(X) / P_train(X)的比值，比值偏离 1 的区域即为漂移区域。
方法选择原则：
- 特征维度低（< 50）且可解释性要求高：优先使用 KS 检验或 PSI。
- 特征维度高（> 100）或分布复杂：使用域分类器或 Wasserstein 距离。
- 分类型特征为主：卡方检验或 PSI（分箱后）。
- 需要实时监控：选择计算开销小的统计量（如 PSI、KL 散度）。
4.4 数据漂移检测流程
下图展示了从数据采集到漂移判定的完整检测流程，帮助理解各环节的衔接关系。
4.5 检测方法对比总结
下表从适用特征类型、计算开销、可解释性三个维度对比主流检测方法，便于在实际项目中选择。
| 检测方法 | 适用特征类型 | 计算开销 | 可解释性 | 推荐场景 |
|---|---|---|---|---|
| KS 检验 | 连续型 | 低 | 高（直观距离） | 单特征漂移监控 |
| 卡方检验 | 分类型 | 低 | 高 | 类别特征漂移检测 |
| PSI | 连续型/分类型（需分箱） | 低 | 高（金融行业标准） | 风控模型监控 |
| Wasserstein 距离 | 连续型/高维 | 中 | 中 | 高维特征分布对比 |
| KL/JS 散度 | 连续型/分类型 | 中 | 中 | 分布差异量化 |
| 域分类器 | 任意类型（需特征工程） | 高 | 低（黑盒） | 高维/复杂分布漂移 |
4.6 实战案例：信贷评分模型的数据漂移
某银行信贷评分模型上线后，监控系统发现 PSI 指标从 0.02 飙升至 0.15（阈值 0.10）。经排查，发现以下数据漂移现象：
- 特征“月收入”：生产数据中位数从 12,000 元上升至 18,000 元，KS 统计量 0.23，p 值 < 0.001。
- 特征“负债率”：分布整体右移，PSI 贡献占比 60%。
- 成因：央行降息后，大量高收入人群涌入信贷市场，导致输入分布偏移。
应对措施：
- 立即触发告警，暂停模型自动决策。
- 使用域分类器定位漂移最严重的特征子集。
- 基于新数据重新训练模型，并加入收入分位数归一化层。
- 建立收入特征的动态阈值监控规则。