2. 数据漂移基础:定义、类型与贷后预警场景映射
在贷后预警系统中,模型上线后并非一成不变。随着宏观经济、客群行为、风控策略的调整,模型输入数据与目标变量的联合分布会逐渐偏离训练集,这种现象统称为数据漂移(Data Drift)。理解漂移类型是设计监控方案的前提。
2.1 数据漂移的核心定义
数据漂移是指模型在生产环境中接收到的数据分布,与模型训练时所使用的数据分布之间出现统计学意义上的显著差异。用数学语言描述:
训练集分布:P_train(X, Y)
生产分布:P_prod(X, Y)
当 P_train(X, Y) ≠ P_prod(X, Y) 时,即发生数据漂移。
漂移会导致模型预测性能下降、排序能力失真、决策阈值失效,最终引发贷后预警的漏报或误报。
2.2 三种核心漂移类型
根据联合分布分解方式的不同,数据漂移可分为三类。下表从定义、数学表达、贷后场景示例三个维度进行对比:
| 漂移类型 | 数学定义 | 核心变化 | 贷后预警典型场景 |
|---|---|---|---|
| 协变量漂移 (Covariate Shift) |
P(X) 变化,P(Y|X) 不变 | 输入特征分布偏移 | 客群收入结构变化、多头借贷指数整体抬升 |
| 概念漂移 (Concept Drift) |
P(X) 不变或变,P(Y|X) 变化 | 特征与标签的映射关系改变 | 同样逾期天数,催收回收率因政策变化而骤降 |
| 先验概率漂移 (Prior Probability Shift) |
P(Y) 变化,P(X|Y) 不变 | 标签分布整体偏移 | 整体逾期率从 2% 跳升至 8% |
2.3 协变量漂移(Covariate Shift)
协变量漂移是最常见、最容易通过监控发现的漂移类型。其特征是输入特征 X 的边缘分布发生变化,但给定特征后的标签条件分布 P(Y|X) 保持不变。
- 贷后场景举例:某消费金融产品在 2024 年 Q2 调整了获客渠道,新客群的平均年龄从 32 岁降至 26 岁,月收入中位数从 8000 元降至 5500 元。模型特征(年龄、收入)分布发生偏移,但“收入越低逾期率越高”这一条件关系并未改变。
- 监控手段:PSI(群体稳定性指标)、KS 统计量、特征分布可视化(KDE 对比)。
- 处理策略:模型重训练、特征工程调整、样本加权。
2.4 概念漂移(Concept Drift)
概念漂移是最危险、最难捕捉的漂移类型。它意味着特征与目标变量之间的因果关系或相关性发生了根本性改变。
- 贷后场景举例:2024 年监管出台新规,要求所有催收机构在逾期 30 天内不得联系借款人紧急联系人。此前“逾期天数 > 30 → 高回收率”的规律被打破,模型预测的回收概率严重高估。
- 子类型:
- 突然漂移:政策发布当天,映射关系突变。
- 渐进漂移:客群还款意愿随经济下行缓慢衰减。
- 周期性漂移:每年春节前后逾期率与回收率的季节性规律变化。
- 监控手段:模型性能指标(AUC、F1-score)时序监控、残差分析、滑动窗口对比。
- 处理策略:模型快速迭代、规则兜底、在线学习。
2.5 先验概率漂移(Prior Probability Shift)
先验概率漂移关注的是标签 Y 的整体分布变化,而特征在各类别内的分布保持不变。
- 贷后场景举例:宏观经济下行导致整个信贷池的逾期率从 3% 上升至 12%。模型虽然仍能区分好坏客户(排序能力不变),但决策阈值需要大幅调整,否则预警量会失控。
- 监控手段:坏账率/逾期率时序监控、标签分布 PSI。
- 处理策略:阈值重校准、业务策略调整(如收紧授信)。
实战要点:在贷后预警系统中,三种漂移往往同时发生。例如,客群下沉(协变量漂移)叠加催收政策收紧(概念漂移),最终导致逾期率飙升(先验概率漂移)。监控体系需要分层设计,不能只盯着单一指标。
2.6 三种漂移的关系与SVG结构图
下图展示了三种漂移在联合分布分解中的位置关系,以及它们在贷后预警系统中的典型影响链路:
2.7 漂移类型快速判别表
在实际监控中,当检测到模型性能下降时,可通过以下逻辑快速定位漂移类型:
| 观测现象 | 特征分布变化 | 标签分布变化 | 条件关系变化 | 最可能漂移类型 |
|---|---|---|---|---|
| 特征均值/方差偏移,AUC 轻微下降 | 是 | 否 | 否 | 协变量漂移 |
| AUC 骤降,特征分布稳定 | 否 | 可能 | 是 | 概念漂移 |
| 逾期率整体跳升,AUC 不变 | 否 | 是 | 否 | 先验概率漂移 |
| 特征偏移 + 逾期率跳升 + AUC 下降 | 是 | 是 | 可能 | 混合漂移 |
贷后预警提示:建议在监控看板上同时展示特征 PSI、模型 AUC 时序、逾期率时序三个指标。当三个指标同时异动时,优先排查业务策略变更或外部环境冲击,这往往是混合漂移的信号。