📚 课程目录第2章特征漂移基础

2. 特征漂移基础：数据分布漂移的数学定义与金融场景举例

在贷后预警体系中，模型性能衰退的根本原因往往是上线后的真实数据分布与训练集分布产生了偏离。这种偏离统称为数据分布漂移。根据漂移发生的对象不同，学术界将其划分为三类：协变量漂移、先验漂移和概念漂移。理解这三者的数学本质与金融含义，是构建XGBoost漂移检测系统的第一块基石。

令 X 表示特征向量（如收入、负债率、近3个月逾期次数），Y 表示目标变量（如未来30天是否逾期），P(X, Y) 为联合分布。根据概率链式法则：

P(X, Y) = P(X) * P(Y|X) = P(Y) * P(X|Y)

三类漂移分别对应上式右侧不同因子的变化：

漂移类型	变化的分布	数学定义	核心假设
协变量漂移	特征边缘分布 `P(X)`	`P_train(X) ≠ P_test(X)` 但 `P(Y\|X)` 保持不变	条件分布稳定，特征分布偏移
先验漂移	标签边缘分布 `P(Y)`	`P_train(Y) ≠ P_test(Y)` 但 `P(X\|Y)` 保持不变	类条件分布稳定，整体坏账率偏移
概念漂移	条件分布 `P(Y\|X)`	`P_train(Y\|X) ≠ P_test(Y\|X)`	特征与标签的映射关系改变

关键记忆点： 协变量漂移是“输入变了但规则没变”；先验漂移是“整体风险水位变了但特征表现没变”；概念漂移是“规则本身变了”。贷后场景中，概念漂移对模型伤害最大，也最难被常规统计检测发现。

数学视角： 训练集与测试集的特征分布 P(X) 不同，但给定特征后的逾期概率 P(Y|X) 保持一致。即模型学到的决策边界仍然有效，但输入空间的重心发生了偏移。

金融场景举例：

客群下沉： 某消费金融产品在2024年Q2将授信门槛从“芝麻分650+”下调至“600+”，导致新进件客群的收入中位数下降30%，负债率分布右移。模型在训练集（高分段客群）上表现良好，但在新客群上因特征分布偏移导致AUC下降5个百分点。
季节性效应： 双十一期间，用户短期消费金额激增，导致“近30天消费总额”特征分布整体右移，但该特征与逾期率的条件关系并未改变。

  检测思路： 使用两样本假设检验（KS检验、PSI）逐特征对比训练集与近期样本的分布差异。XGBoost模型可借助特征重要性加权，优先监控高权重特征的协变量漂移。

数学视角： 标签的边缘分布 P(Y) 发生变化，但每个类别内部的特征分布 P(X|Y) 保持稳定。在贷后场景中，表现为整体坏账率（逾期标签占比）的系统性上升或下降。

金融场景举例：

宏观经济冲击： 2023年某地区遭遇特大洪灾，导致该地区所有借款人的还款能力普遍下降，整体逾期率从2%飙升至8%。但“高负债率→高逾期风险”这一特征模式并未改变。
政策干预： 监管要求所有消费金融产品年化利率不得超过24%，导致高息产品退出市场，剩余客群整体信用质量提升，坏账率从5%降至2.5%。

贷后预警陷阱： 先验漂移发生时，模型输出的概率校准会整体偏移。如果仅监控特征分布（协变量漂移），可能漏报风险。建议同时监控模型预测值的整体分布（如平均预测逾期概率）与真实逾期率的偏差。

数学视角： 条件分布 P(Y|X) 发生改变，即相同的特征值对应了不同的标签概率。这是最危险的漂移类型，因为它意味着模型学到的决策边界已经失效。

金融场景举例：

欺诈模式演变： 过去“近3个月申请次数>10”是欺诈的强信号，但2024年黑产改用“养号”策略，将申请次数控制在3次以内，导致该特征对逾期/欺诈的预测能力大幅下降。
还款行为变迁： 疫情后，部分用户养成“借新还旧”习惯，导致“近6个月借款次数”这一特征与逾期率的关系从正相关变为U型相关，线性模型或树模型的切分点完全失效。

对比维度	协变量漂移	先验漂移	概念漂移
变化对象	特征分布 P(X)	标签分布 P(Y)	条件分布 P(Y\|X)
模型影响	预测概率校准偏移，排序能力可能不变	预测概率整体偏高或偏低	排序能力与校准同时恶化
检测难度	较低（直接对比特征分布）	中等（需对比标签率与预测均值）	较高（需监控残差或模型性能）
贷后修复策略	特征工程调整或重采样	概率校准或阈值调整	模型重训练或特征重构
典型检测指标	PSI、KS统计量、特征均值差异	实际逾期率 vs 预测逾期率	AUC下降、残差分布变化、SHAP值偏移

  实战建议： 在贷后预警系统中，建议建立三层监控体系——第一层监控特征分布（协变量漂移），第二层监控标签率与预测均值偏差（先验漂移），第三层监控模型AUC与残差模式（概念漂移）。XGBoost模型天然支持特征重要性排序，可优先监控Top 10重要特征的PSI指标，实现高效预警。