2. 批次偏移基础概念：训练集与线上评分集的分布差异、概念漂移、数据漂移、标签漂移的定义与区别
在授信决策引擎的持续监控中，批次偏移（Batch Shift）是导致模型性能衰减的核心原因。理解偏移的类型与区别，是进行SQL特征分布对比的前提。本章将系统定义训练集与线上评分集的分布差异，并厘清概念漂移、数据漂移、标签漂移三个关键术语。
2.1 训练集与线上评分集的分布差异
模型在开发时基于历史样本（训练集）学习规律，上线后对实时或近线申请（线上评分集）进行预测。当两个数据集的统计分布不一致时，即发生分布差异。这种差异通常表现为特征分布、标签分布或两者联合分布的变化。
| 对比维度 | 训练集（开发期） | 线上评分集（生产期） |
|---|---|---|
| 时间窗口 | 历史固定区间（如2023Q1-Q2） | 当前或近期批次（如2024Q1） |
| 样本来源 | 已过观察期的授信申请 | 实时或近线新申请 |
| 标签可用性 | 标签已知（好坏客户已确定） | 标签未知（需等待表现期） |
| 分布稳定性 | 相对稳定（回放时无环境变化） | 易受宏观、客群、策略调整影响 |
2.2 三种漂移的定义与区别
为了精确诊断分布差异的根源，业界将漂移分为三类：数据漂移（Data Drift）、概念漂移（Concept Drift）、标签漂移（Label Drift）。三者相互关联，但成因与影响不同。
2.2.1 数据漂移（Data Drift）
指模型输入特征 X 的边缘分布发生变化，即 P(X) 在训练集与线上集之间不一致。常见原因包括：客群结构变化（如年轻客群占比上升）、数据采集口径变更、外部宏观经济波动等。
- 典型表现： 特征均值、方差、分位数发生显著偏移。
- 影响： 模型输入的“原材料”变了，即使模型参数不变，输出分数分布也会随之改变。
- 检测方法： 单特征分布对比（如PSI、KS、KL散度）。
2.2.2 概念漂移（Concept Drift）
指特征与标签之间的条件分布 P(Y|X) 发生变化，即相同的特征值对应不同的违约概率。通常由市场环境、政策法规、用户行为模式改变引起。
- 典型表现： 模型评分与真实违约率之间的校准曲线发生偏移。
- 影响： 模型决策边界失效，AUC或KS指标下降，但特征分布可能保持不变。
- 检测方法： 需要标签反馈，通过时间序列监控模型性能指标（如Gini、Lift）。
2.2.3 标签漂移（Label Drift）
指标签 Y 的边缘分布发生变化，即 P(Y) 在训练集与线上集之间不一致。通常由整体客群质量变化或业务定义调整（如逾期口径从M1改为M2）引起。
- 典型表现： 整体坏账率（Bad Rate）显著上升或下降。
- 影响： 模型阈值需要重新校准，但特征与标签的关系可能未变。
- 检测方法： 监控线上批次的实际违约率与训练集先验违约率的差异。
2.3 三类漂移的关系与对比
下表从定义、检测时机、典型原因三个维度对三类漂移进行对比，帮助你在实际监控中快速定位问题类型。
| 漂移类型 | 定义（数学表达） | 检测时机 | 典型原因 |
|---|---|---|---|
| 数据漂移 | P(X) 变化 | 评分时（无需标签） | 客群结构变化、数据源变更 |
| 概念漂移 | P(Y|X) 变化 | 表现期结束后（需标签） | 经济周期、政策调整、欺诈模式演变 |
| 标签漂移 | P(Y) 变化 | 表现期结束后（需标签） | 整体客群质量变化、标签定义变更 |
2.4 三类漂移的关系示意图
下图展示了三类漂移在授信决策流程中的位置与相互关系。数据漂移发生在输入层，概念漂移发生在模型映射层，标签漂移发生在输出层。
2.5 批次偏移的典型场景案例
为了加深理解，以下通过一个授信场景的简化案例，展示三类漂移如何独立或组合出现。
- 数据漂移： 线上申请客群中，自由职业者占比从15%升至35%，导致“收入稳定性”特征分布偏移。
- 概念漂移： 2024年经济复苏，相同收入水平的客户违约率显著低于2022年，即 P(违约|收入) 发生变化。
- 标签漂移： 公司调整了逾期定义（从M1+改为M2+），导致整体坏账率从5%降至3%，标签分布改变。
在实际监控中，三类漂移往往同时发生。SQL特征分布对比方法主要解决数据漂移的检测问题，但理解概念漂移和标签漂移有助于你更全面地解读分布对比结果，避免误判。