2. 过拟合与欠拟合
2.1 过拟合的定义与危害
过拟合是指模型在训练数据上表现极好（损失趋近于零），但在未见过的测试数据或实盘数据上表现显著退化。本质上是模型“死记硬背”了训练样本中的噪声、异常值或特定模式，而非学习到真正的市场规律。
⚠️ 量化策略中的典型过拟合表现： 回测曲线完美向上、夏普比率 > 3.0、最大回撤 < 5%，但实盘或样本外测试立即失效。这种“回测冠军、实盘垫底”的现象是策略开发中最昂贵的错误。
过拟合的主要危害
| 危害维度 | 具体表现 | 量化影响 |
|---|---|---|
| 预测失效 | 样本外 R² 为负，方向准确率低于 50% | 策略完全失去预测能力 |
| 参数脆弱 | 参数微小变动导致绩效剧烈波动 | 无法部署到实盘环境 |
| 时间不稳定 | 不同时间窗口回测结果差异极大 | 策略不具备跨周期有效性 |
| 成本低估 | 过度优化忽略了滑点和交易成本 | 实盘收益远低于回测 |
| 决策误导 | 基于过拟合结果分配资金 | 可能导致重大亏损 |
2.2 欠拟合的表现
欠拟合是过拟合的对立面——模型过于简单，未能捕捉到数据中的有效信号，在训练集和测试集上表现均不佳。在量化策略中，欠拟合意味着策略未能充分利用可用的市场信息。
🔍 欠拟合的典型特征：
- 训练集和测试集的损失值都偏高且接近
- 策略信号稀疏，交易频率远低于预期
- 模型残差呈现明显的自相关性或趋势性
- 增加特征或模型复杂度后绩效显著提升
2.3 偏差-方差权衡
偏差-方差权衡是理解过拟合与欠拟合的核心理论框架。它揭示了模型复杂度与泛化误差之间的根本矛盾。
偏差、方差与模型复杂度的关系
| 指标 | 低复杂度模型（欠拟合） | 最优复杂度模型 | 高复杂度模型（过拟合） |
|---|---|---|---|
| 偏差 | 高（模型假设太强） | 适中 | 低（灵活拟合数据） |
| 方差 | 低（对数据变化不敏感） | 适中 | 高（对噪声敏感） |
| 训练误差 | 高 | 较低 | 极低（接近零） |
| 测试误差 | 高 | 最低 | 高（泛化失败） |
| 策略表现 | 信号不足，收益平庸 | 稳健盈利 | 回测完美，实盘崩溃 |
2.4 如何识别过拟合
识别过拟合是量化策略稳健性评估的核心技能。以下从定量指标、可视化方法和交叉验证三个维度提供系统性的识别方法。
2.4.1 定量识别指标
| 指标名称 | 计算公式/方法 | 过拟合警戒线 |
|---|---|---|
| 训练-测试差距 | 训练集 Sharpe - 测试集 Sharpe | 差距 > 0.5 |
| 夏普比率衰减率 | (样本内 Sharpe - 样本外 Sharpe) / 样本内 Sharpe | 衰减 > 50% |
| 参数敏感度 | 参数变化 ±10% 时绩效标准差 | 标准差 > 原始 Sharpe 的 30% |
| 回撤比差异 | Calmar 比率在样本内外的差值 | 差值 > 2.0 |
| 策略收益分布偏度 | 样本外收益偏度与样本内偏度的差异 | 符号相反或差异 > 1.0 |
2.4.2 可视化诊断方法
2.4.3 交叉验证识别法
交叉验证是识别过拟合最有效的统计方法之一。在量化策略中，推荐使用以下三种交叉验证方案：
- 前向链式交叉验证：按时间顺序滚动划分训练/测试集，避免未来信息泄露
- 组合交叉验证：将数据分为 K 段，每次用 K-1 段训练、1 段测试，循环 K 次
- Purged 交叉验证：在训练集和测试集之间加入缓冲区间，消除时间序列自相关影响
💡 实战建议： 对于日频策略，至少使用 3 年样本内数据 + 1 年样本外数据做前向验证。如果样本外 Sharpe 低于样本内 Sharpe 的 60%，强烈怀疑存在过拟合。更严格的检验要求样本外 Sharpe 不低于样本内 Sharpe 的 80%。
2.4.4 过拟合识别检查清单
| 检查项 | 检查方法 | 通过标准 |
|---|---|---|
| 训练/测试误差差距 | 比较 MSE 或 Sharpe 比率 | 差距 < 20% |
| 参数敏感性 | 对每个参数做 ±5%~±20% 扫描 | 绩效波动 < 15% |
| 时间稳定性 | 滚动 12 个月窗口计算绩效 | Sharpe 标准差 < 0.3 |
| 特征重要性 | 随机打乱特征值观察绩效变化 | 重要特征打乱后绩效显著下降 |
| 蒙特卡洛模拟 | 随机生成 1000 条收益序列 | 策略 Sharpe 位于前 10% 之外 |
| 样本外回测 | 保留 20%~30% 数据做最终验证 | 样本外 Sharpe > 样本内 60% |
⚠️ 常见误区： 不要将“样本内回测表现好”等同于“策略有效”。一个真正稳健的策略必须在样本外、不同市场周期、不同参数设置下都能保持一致的绩效特征。过拟合策略往往在回测报告中看起来完美无瑕，这正是最危险的陷阱。