回测基础概念：定义、差异、过拟合与常见陷阱

回测（Backtesting）是量化策略开发中最核心的验证环节。它利用历史数据模拟策略在过去的表现，以此评估策略的有效性和稳健性。然而，回测与实盘之间存在天然鸿沟，理解这些差异、识别过拟合与欠拟合、避开常见陷阱，是构建可靠策略的前提。

2.1 回测的定义与核心要素

回测本质上是一个模拟交易系统，它按照预设的规则，在历史数据的时间轴上逐笔执行买卖信号，并记录每次交易的盈亏、持仓周期、最大回撤等指标。一个完整的回测系统包含以下核心要素：

2.2 回测与实盘的差异

回测与实盘之间的差异是导致策略“纸上富贵、实盘亏损”的根本原因。以下表格总结了关键差异：

回测中表现优异的策略，在实盘中往往面临滑点放大、成交不足、信号延迟等问题。因此，回测结果需要打折扣看待，通常建议在回测收益基础上扣除20%-30%作为实盘预期。

2.3 过拟合与欠拟合

过拟合和欠拟合是回测中两个极端问题，它们直接影响策略在样本外数据的表现。

2.3.1 过拟合（Overfitting）

过拟合是指策略在历史数据上表现极好，但在新数据上表现很差。本质上是策略学习了历史数据中的噪声，而非真实的市场规律。

• 典型表现：回测曲线完美向上，夏普比率极高（>3），但样本外测试收益大幅下降甚至亏损。
• 常见原因：参数过多、参数优化过度、数据窥探、使用未来函数、策略复杂度过高。
• 识别方法：交叉验证、样本外测试、蒙特卡洛模拟、参数敏感性分析。

2.3.2 欠拟合（Underfitting）

欠拟合是指策略在历史数据上表现不佳，未能捕捉到明显的市场规律。本质上是策略过于简单，无法描述市场的真实结构。

• 典型表现：回测收益曲线接近无风险利率，夏普比率接近0，胜率接近50%。
• 常见原因：特征不足、模型过于简单、交易规则过于粗糙。
• 识别方法：增加特征维度、尝试更复杂的模型、调整交易规则。

2.4 回测中的常见陷阱

即使理解了过拟合与欠拟合，回测中仍存在大量隐蔽陷阱。以下列出最常见的陷阱及其规避方法：

2.4.1 幸存者偏差（Survivorship Bias）

回测数据只包含当前仍在交易的标的，忽略了已经退市、被摘牌的标的。这会导致回测收益虚高，因为退市标的通常表现较差。

• 规避方法：使用包含退市标的的全量历史数据，或使用无幸存者偏差的数据集。

2.4.2 前视偏差（Look-Ahead Bias）

在回测中使用了未来才能获取的数据。例如，使用当天的收盘价作为开仓信号，但实际交易中收盘价在收盘后才能确定。

• 规避方法：严格对齐时间戳，确保信号生成时只使用历史数据。使用延迟对齐技术，如使用前一天的收盘价作为信号。

2.4.3 未来函数（Future Function）

回测代码中无意间使用了未来数据。例如，在计算移动平均线时，使用了包含未来数据的窗口。

• 规避方法：使用滚动窗口计算指标，确保每个时间点的计算只基于该时间点之前的数据。

2.4.4 数据窥探（Data Snooping）

反复使用同一数据集进行策略优化，导致策略过度适应历史数据。

• 规避方法：将数据分为训练集、验证集、测试集，只在训练集上优化参数，测试集仅用于最终评估。

2.4.5 忽略交易成本

回测中忽略手续费、滑点、冲击成本，导致回测收益虚高。

• 规避方法：在回测中计入双边手续费和动态滑点，滑点可根据标的流动性设置。

2.4.6 陷阱检查清单