4. 标签偏移的数学表示：形式化定义 P(Y) 的变化
在量化回测中，标签偏移的核心是目标变量 Y 的边际分布 P(Y) 在训练集与测试集（或未来真实环境）之间发生了系统性变化。为了精确描述这种变化，我们需要引入贝叶斯框架下的概率语言，对先验概率、后验概率和边际分布进行形式化定义。
4.1 核心概率概念回顾
在监督学习框架下，我们通常关注联合分布 P(X, Y)，其中 X 为特征向量，Y 为标签。标签偏移特指 P(Y) 发生变化，而条件分布 P(X|Y) 保持不变。以下表格总结了三个关键概率概念及其在回测中的含义：
| 概念 | 符号 | 回测中的含义 | 偏移影响 |
|---|---|---|---|
| 先验概率 | P(Y) | 训练期内各类标签（如涨/跌）的自然发生频率 | 训练集 P(Y) 可能不代表未来真实分布 |
| 后验概率 | P(Y|X) | 给定当前特征 X 时，标签 Y 的条件概率（模型预测） | 若 P(Y) 偏移，后验概率需通过贝叶斯公式校准 |
| 边际分布 | P(X) | 特征 X 的整体分布（可能受 P(Y) 变化间接影响） | 标签偏移下 P(X) 可能变化，但 P(X|Y) 不变 |
关键假设：标签偏移场景下，我们假设条件分布 P(X|Y) 在训练集和测试集之间保持稳定。这意味着“给定标签后，特征如何生成”的机制不变，只是各类标签的整体比例发生了改变。
4.2 贝叶斯框架下的偏移建模
利用贝叶斯定理，我们可以将后验概率 P(Y|X) 与先验概率 P(Y) 和似然 P(X|Y) 关联起来：
P(Y|X) = [P(X|Y) * P(Y)] / P(X)
其中：
- P(Y|X) ：后验概率（模型输出）
- P(X|Y) ：似然（给定标签下特征的分布）
- P(Y) ：先验概率（标签的边际分布）
- P(X) ：证据因子（特征的边际分布），P(X) = Σ P(X|Y) * P(Y)当标签偏移发生时，训练集的先验概率 Ptrain(Y) 与测试集的真实先验概率 Ptest(Y) 不再相等。由于 P(X|Y) 保持不变，我们可以推导出测试集后验概率与训练集后验概率之间的转换关系：
P_test(Y|X) = [P_train(Y|X) * P_test(Y) / P_train(Y)] /
[ Σ P_train(Y_i|X) * P_test(Y_i) / P_train(Y_i) ]这个公式是标签偏移校准的核心，它告诉我们：只需知道训练集和测试集的先验概率比值，就可以将训练好的模型输出校准到新的环境分布上。
4.3 偏移的形式化定义与度量
为了量化 P(Y) 的变化程度，我们定义以下度量指标：
- 先验偏移比 (Prior Shift Ratio)：r(y) = Ptest(y) / Ptrain(y)，表示每个标签类别在测试集与训练集中的概率比值。
- KL 散度 (Kullback-Leibler Divergence)：DKL(Ptrain(Y) || Ptest(Y))，衡量两个先验分布之间的信息损失。
- 标签不平衡度变化 (Label Imbalance Change)：Δimb = |log(Ptest(y1)/Ptest(y0)) - log(Ptrain(y1)/Ptrain(y0))|，适用于二分类场景。
回测实践提示：在量化策略回测中，标签偏移通常表现为牛市/熊市切换导致的涨跌比例变化。例如，训练集可能包含 60% 的上涨日，而测试集（熊市）可能只有 30% 的上涨日。此时先验偏移比 r(上涨) = 0.3/0.6 = 0.5，r(下跌) = 0.7/0.4 = 1.75。
4.4 标签偏移的数学结构图
下图展示了贝叶斯框架下标签偏移的完整数学结构，以及各概率分量之间的转换关系：
4.5 偏移建模的实践步骤
在量化回测中实施标签偏移校准，通常遵循以下步骤：
- 估计训练集先验：从历史回测数据中计算 Ptrain(Y)，即各类标签的样本比例。
- 估计测试集先验：利用领域知识、市场状态分类器或少量最新样本估计 Ptest(Y)。
- 计算偏移比：对每个标签类别计算 r(y) = Ptest(y) / Ptrain(y)。
- 校准模型输出：将原始模型输出的后验概率乘以偏移比，并重新归一化。
- 验证校准效果：通过概率校准曲线（Calibration Curve）或期望校准误差（ECE）评估校准质量。
常见陷阱：当某个标签类别在测试集中的先验概率接近零时，偏移比 r(y) 会趋近于零，导致校准后的后验概率被严重压低。在实际回测中，建议对极端偏移比进行截断处理（如限制在 [0.1, 10] 范围内），避免数值不稳定。
4.6 偏移建模的完整流程
下图将上述步骤整合为一个端到端的校准流程，展示了从原始模型输出到校准后决策的完整链路：