2. 回测过拟合的数学定义：过拟合的统计学基础、偏差-方差权衡、泛化误差分解

在量化金融中，回测过拟合并非简单的“策略在样本外失效”，而是一个具有严格数学定义的统计现象。理解其数学本质，是后续检测与预防方法的基础。本章从统计学基础出发，逐步拆解偏差-方差权衡与泛化误差分解，揭示过拟合的内在机理。

2.1 过拟合的统计学基础

从统计学习视角看，回测过拟合是指策略模型在训练数据（历史回测区间）上过度捕捉了噪声与偶然模式，导致模型在独立测试数据（未来实盘或样本外区间）上的预测性能显著下降。其核心数学表达基于泛化误差的分解。

设真实数据生成过程为：

Y = f(X) + ε,  其中 ε ~ N(0, σ²)

其中 f(X) 是真实信号函数，ε 是均值为零、方差为 σ² 的不可约噪声。我们通过历史数据训练得到一个估计模型 f̂(X)。过拟合发生时，f̂(X) 不仅拟合了 f(X)，还拟合了噪声 ε 的具体实现。

2.2 偏差-方差权衡

偏差-方差权衡是理解过拟合的核心框架。模型的总期望泛化误差可分解为三个部分：

E[(Y - f̂(X))²] = Bias[f̂(X)]² + Var[f̂(X)] + σ²

其中：

• Bias²（偏差平方）：模型预测的期望值与真实值的偏离程度。高偏差意味着模型过于简单，欠拟合。
• Var（方差）：模型预测值在不同训练集上的波动程度。高方差意味着模型对训练数据敏感，过拟合。
• σ²（不可约噪声）：数据本身的随机误差，无法通过任何模型消除。

过拟合的本质是方差项过大，而欠拟合的本质是偏差项过大。最优模型在偏差与方差之间取得平衡。

下表总结了偏差、方差与模型复杂度的关系：

2.3 泛化误差分解

泛化误差分解将偏差-方差权衡进一步细化，为回测过拟合提供更精确的数学诊断工具。对于量化策略，我们关注的是策略收益预测的泛化能力。

设策略在时间 t 的预测收益为 r̂_t，真实收益为 r_t，则期望泛化误差为：

E[(r_t - r̂_t)²] = (E[r̂_t] - E[r_t])² + Var[r̂_t] + σ²

在回测过拟合的语境下，三个分量分别对应：

1. 偏差项 (E[r̂_t] - E[r_t])²：策略系统性地高估或低估收益。若策略在回测中过度优化参数，偏差可能很低，但这是以牺牲方差为代价的。
2. 方差项 Var[r̂_t]：策略预测收益的波动性。过拟合策略的方差极高，因为模型对市场微观结构噪声过度敏感。
3. 不可约噪声 σ²：市场固有的随机性，如订单流不均衡、微观结构噪声等。这部分无法通过任何模型消除。

2.4 回测过拟合的数学判定准则

基于上述理论，我们可以建立回测过拟合的数学判定准则。设策略在样本内（回测期）的损失为 L_in，在样本外（验证期）的损失为 L_out，则过拟合的严格定义为：

过拟合 ⇔ L_out >> L_in  且  泛化误差中方差项占比显著高于偏差项

在实际量化工作中，常用以下指标辅助判定：