1. 标签偏移概述
1.1 什么是标签偏移
标签偏移(Label Shift) 是指目标变量 y 的边缘分布 P(y) 在训练集与测试集(或回测期与实盘期)之间发生系统性变化,而特征的条件分布 P(x|y) 保持相对稳定的现象。在量化回测中,这意味着模型学习到的“标签—特征”映射关系虽然正确,但不同标签类别出现的先验概率已经改变。
核心公式:
训练期:
回测表现良好 → 实盘失效,根源在于标签分布漂移。
训练期:
P_train(y) ≠ P_test(y),但 P_train(x|y) ≈ P_test(x|y)回测表现良好 → 实盘失效,根源在于标签分布漂移。
1.2 与协变量偏移的本质区别
| 对比维度 | 标签偏移(Label Shift) | 协变量偏移(Covariate Shift) |
|---|---|---|
| 变化对象 | P(y) 边缘分布变化 |
P(x) 边缘分布变化 |
| 条件分布 | P(x|y) 稳定 |
P(y|x) 稳定 |
| 典型场景 | 牛熊切换导致涨跌标签比例变化 | 市场波动率结构改变导致特征分布漂移 |
| 校准难度 | 需估计标签先验的偏移量 | 需对特征空间进行重加权 |
| 金融适用性 | 高——标签分布随市场周期剧烈波动 | 中——特征分布变化常伴随标签变化 |
实战提示: 多数量化团队在回测中只关注协变量偏移(特征分布变化),却忽略了标签偏移才是导致策略“过拟合历史牛熊结构”的根本原因。校准标签偏移往往比校准协变量偏移带来更显著的实盘收益提升。
1.3 为何标签偏移在金融时间序列中常见
金融时间序列具有以下固有属性,使得标签偏移成为常态而非例外:
- 市场状态非平稳性: 牛市、熊市、震荡市的涨跌比例差异巨大。A股2015年股灾期间,日频下跌标签占比超过70%;而2017年蓝筹牛市中,上涨标签占比接近65%。
- 波动率聚集效应: 高波动期标签分布更分散,低波动期标签分布更集中,导致
P(y)随时间周期性变化。 - 制度与政策突变: 涨跌停制度调整、印花税变化、注册制改革等事件会系统性改变标签生成机制。
- 投资者行为周期: 散户情绪、机构调仓、量化拥挤度等行为因素导致“上涨—下跌”标签的长期比例并非50:50。
1.4 标签偏移的量化识别指标
在回测中,可通过以下指标初步判断是否存在标签偏移:
- 标签比例漂移指数(LPDI):
|P_train(y=1) - P_test(y=1)|,超过0.15需警惕。 - 滚动窗口标签均值: 绘制标签均值的时间序列,观察是否存在结构性突变。
- KS检验(Kolmogorov-Smirnov): 检验训练期与验证期标签分布的差异显著性。
- 校准曲线斜率: 模型预测概率 vs 实际频率的回归斜率偏离1.0越远,标签偏移越严重。
常见误区: 不要将标签偏移与“过拟合”混为一谈。过拟合是模型记住了噪声,而标签偏移是数据生成过程本身发生了变化。即使模型完全正确,标签偏移也会导致预测偏差。例如:一个在牛市中训练出的70%准确率模型,在熊市中可能因标签先验变化而降至45%。
1.5 标签偏移校准的必要性
如果不进行标签偏移校准,量化策略将面临以下风险:
| 风险类型 | 具体表现 | 后果严重性 |
|---|---|---|
| 概率失真 | 预测概率与实际发生频率系统性偏离 | 高——仓位管理失效 |
| 阈值失效 | 最优分类阈值随标签分布漂移 | 中——信号质量下降 |
| 排序偏差 | 多空组合的排序能力被标签先验污染 | 高——因子收益高估 |
| 风险低估 | VaR/ES等风险指标基于错误标签分布 | 极高——极端损失风险 |