2. 基础知识
在金融风控、量化投研与智能营销中,模型上线并不代表工作结束。市场结构、客群行为、监管口径和宏观周期持续变化,训练时学到的统计规律会逐渐与线上数据脱节,这种现象统称为模型漂移(Model Drift)。它描述的是模型输入分布、输入与输出之间的关系,或目标变量本身随时间发生偏移,导致模型预测能力下降的过程。理解漂移的定义与分类,是后续检测、阈值设定和根因诊断的前提。
核心判断:模型漂移不是模型“坏了”,而是模型所依赖的数据世界变了。检测漂移的本质,是持续比较“训练基准”与“线上现实”之间的统计差异。
一、模型漂移的定义与三类漂移
从数学角度看,一个监督模型学习的是联合分布 \(P(X, Y)\),其中 \(X\) 为特征,\(Y\) 为标签。漂移可以发生在联合分布的不同分解部分,由此形成三类典型漂移:
- 数据漂移(Data Drift / 协变量漂移):特征分布 \(P(X)\) 发生变化,但 \(P(Y|X)\) 保持不变。例如某消费贷产品调整授信策略后,申请人群年龄结构整体上移,收入分布右移。
- 概念漂移(Concept Drift):特征与标签之间的关系 \(P(Y|X)\) 发生变化。例如经济下行期,同样的负债收入比对应的违约概率显著上升,模型原有的风险映射失效。
- 标签漂移(Label Drift / 先验漂移):标签分布 \(P(Y)\) 发生变化。例如监管收紧后整体违约率从 3% 升至 6%,即使特征关系不变,模型输出的绝对风险水平也会系统性偏低。
三类漂移常同时出现,但根因和应对手段不同。数据漂移通常可通过监控特征分布快速发现;概念漂移更隐蔽,往往要等标签回流后才能确认;标签漂移则直接影响阈值与校准。金融场景中,概念漂移危害最大,因为它意味着模型逻辑本身不再成立。
二、常见术语与检测方法流程
在漂移检测工程中,需要统一术语口径,避免团队沟通歧义。常用术语包括:基准窗口(Reference Window)指训练或上一稳定期的数据;检测窗口(Detection Window)指当前线上数据;漂移分数(Drift Score)是量化差异的统计量;阈值(Threshold)是触发告警的判定边界;根因(Root Cause)是导致漂移的具体特征或外部事件。
常见检测方法按数据类型选择:连续特征可用 PSI、KS 检验、Wasserstein 距离;类别特征可用卡方检验、JS 散度;模型层面可监控 AUC、KS、PSI 与校准曲线。一个可落地的检测流程如下:
- 确定基准窗口与检测窗口,对齐特征口径与时间粒度。
- 对每个特征计算漂移分数,并按业务重要性加权。
- 与预设阈值比较,输出特征级与模型级告警。
- 对告警特征做分布对比、分箱对比与业务事件关联。
- 判定漂移类型,决定重训、校准、调阈值或人工复核。
# 以 PSI 为例的特征漂移检测伪代码
def psi(reference, current, bins=10):
ref_pct = np.histogram(reference, bins=bins)[0] / len(reference)
cur_pct = np.histogram(current, bins=bins)[0] / len(current)
ref_pct = np.clip(ref_pct, 1e-6, None)
cur_pct = np.clip(cur_pct, 1e-6, None)
return np.sum((cur_pct - ref_pct) * np.log(cur_pct / ref_pct))
# 阈值经验:PSI < 0.1 稳定;0.1~0.25 关注;> 0.25 显著漂移
for col in feature_cols:
score = psi(ref_df[col], cur_df[col])
if score > 0.25:
print(f"[ALERT] {col} PSI={score:.3f} 显著漂移")
三、金融业务应用场景
不同金融场景对漂移的敏感点和容忍度差异明显,下表给出典型对照:
| 业务场景 | 主要漂移类型 | 典型触发因素 | 业务影响 |
|---|---|---|---|
| 信贷申请评分 | 数据漂移 + 概念漂移 | 客群结构变化、宏观下行 | 通过率与坏账率偏离预期 |
| 反欺诈实时模型 | 概念漂移 | 黑产手法迭代 | 欺诈漏报率快速上升 |
| 量化选股因子 | 概念漂移 + 标签漂移 | 市场风格切换 | 因子 IC 衰减、回撤扩大 |
| 智能营销响应模型 | 数据漂移 | 渠道结构、活动策略调整 | 响应率预估偏高、ROI 下降 |
| 保险定价模型 | 标签漂移 | 赔付率整体变化 | 定价偏低、承保亏损 |
场景提示:反欺诈与量化因子对概念漂移最敏感,通常需要更高频的检测与更短的模型迭代周期;信贷评分则更关注标签漂移带来的校准问题。
四、常见误区与复盘要点
初学者在理解漂移时容易陷入几个误区,需要在实战前澄清:
- 误区一:把数据漂移等同于模型失效。数据漂移只是预警信号,若 P(Y|X) 稳定,模型排序能力可能仍然可用,只需校准或调阈值。
- 误区二:只看模型指标,不看特征分布。模型 AUC 下降往往是滞后的,特征级漂移监控能更早发现问题。
- 误区三:阈值一刀切。不同特征、不同业务的重要性不同,PSI 阈值应结合业务容忍度分层设定。
- 误区四:发现漂移就立即重训。若根因是数据采集口径变化或一次性事件,重训可能引入噪声,应先做根因诊断。
复盘要点:每次漂移告警都应记录“检测时间、漂移特征、漂移分数、根因判断、处置动作、后续效果”,形成可追溯的漂移事件库,为阈值调优和模型迭代提供依据。