4. 漂移的数学定义:数据分布漂移、标签漂移与概念漂移
在实时风控系统中,模型性能下降往往源于数据分布或决策边界的变化。为了精确描述这些变化,学术界定义了三种核心漂移类型:Covariate Shift(数据分布漂移)、Label Shift(标签漂移)和Concept Drift(概念漂移)。理解它们的严格数学定义与区别,是构建有效监控体系的理论基石。
4.1 核心符号与联合分布
设风控模型在时刻 t 的输入特征为 X,真实标签为 Y。模型学习的目标是逼近联合概率分布 P(X, Y)。根据概率链式法则,联合分布可以分解为两种等价形式:
- 生成式分解:P(X, Y) = P(X) · P(Y | X)
- 判别式分解:P(X, Y) = P(Y) · P(X | Y)
三种漂移分别对应上述分解中不同组分的分布变化。下表总结了它们的核心差异:
| 漂移类型 | 变化的组分 | 不变的组分 | 数学定义 |
|---|---|---|---|
| Covariate Shift | P(X) 边缘分布 | P(Y | X) 条件分布 | Ptrain(X) ≠ Ptest(X) 且 P(Y|X) 不变 |
| Label Shift | P(Y) 边缘分布 | P(X | Y) 条件分布 | Ptrain(Y) ≠ Ptest(Y) 且 P(X|Y) 不变 |
| Concept Drift | P(Y | X) 条件分布 | P(X) 边缘分布(通常) | Ptrain(Y|X) ≠ Ptest(Y|X) |
4.2 数据分布漂移(Covariate Shift)
严格定义: 训练集与测试集的输入特征 X 的边缘分布发生变化,但给定 X 后标签 Y 的条件分布保持不变。
数学表达:
P_train(X) ≠ P_test(X)
P_train(Y | X) = P_test(Y | X)
风控实例: 模型训练于2023年Q1的用户数据,彼时用户年龄集中在25-35岁。2023年Q4,由于新上线面向大学生的营销活动,用户年龄分布向18-24岁偏移。此时 P(Age) 改变,但相同年龄段的用户其违约概率 P(Default | Age) 并未改变。
检测方法: 常用统计检验(如KS检验、卡方检验)比较特征分布差异,或使用密度比估计(如KLIEP、RuLSIF)。
4.3 标签漂移(Label Shift)
严格定义: 训练集与测试集的标签 Y 的边缘分布发生变化,但给定标签 Y 后特征 X 的条件分布保持不变。
数学表达:
P_train(Y) ≠ P_test(Y)
P_train(X | Y) = P_test(X | Y)
风控实例: 经济下行周期中,整体坏账率从2%上升至5%。此时 P(Default) 改变。但坏用户(Default=1)的消费行为模式 P(Transaction | Default=1) 与好用户(Default=0)的消费模式 P(Transaction | Default=0) 并未发生显著变化。
4.4 概念漂移(Concept Drift)
严格定义: 训练集与测试集中,给定输入特征 X 后标签 Y 的条件分布发生变化。这是最严重的一类漂移,意味着特征与标签之间的因果关系发生了改变。
数学表达:
P_train(Y | X) ≠ P_test(Y | X)
风控实例: 过去,深夜大额交易(特征)是欺诈(标签)的强信号。但欺诈团伙改变策略,开始模仿正常用户进行小额高频交易。此时,对于相同的特征 X(深夜大额交易),其属于欺诈的概率 P(Fraud | X) 显著下降。模型基于旧数据学到的决策边界已经失效。
子类型: 概念漂移可进一步细分为:
- 突然漂移(Sudden Drift): 在某个时间点瞬间改变(如监管政策突变)。
- 渐进漂移(Gradual Drift): 在一段时间内缓慢变化(如用户消费习惯随季节演变)。
- 周期性漂移(Recurring Drift): 呈现周期性规律(如节假日欺诈模式)。
4.5 三种漂移的关系与对比
下图直观展示了三种漂移在联合分布空间中的位置关系:
4.6 漂移类型判定流程
在实际监控中,当检测到模型性能下降时,可以按照以下流程判定漂移类型:
- 检查标签分布 P(Y): 如果标签率(如坏账率)发生显著变化,且特征分布 P(X) 变化不大,则优先怀疑 Label Shift。
- 检查特征分布 P(X): 如果特征分布发生显著变化,但标签率稳定,则优先怀疑 Covariate Shift。
- 检查条件分布 P(Y|X): 如果特征分布和标签率均无明显变化,但模型预测误差显著增大,则高度怀疑 Concept Drift。
- 交叉验证: 使用滑动窗口方法,分别计算相邻窗口间的 P(X)、P(Y) 和 P(Y|X) 的差异度量(如KL散度、JS散度),量化每种漂移的贡献度。