1. 课程导入

在交易风控体系中，模型上线前的样本内评估往往表现优异，但一旦进入真实市场，绩效却可能迅速衰减。造成这种落差的核心原因之一，是评估方式与真实交易的时间结构不一致：训练、调参、验证使用了同一段历史数据，导致信息泄漏与过拟合被系统性低估。本课程聚焦一个关键能力——时间外验证（Out-of-Time Validation）与回放评估（Replay Evaluation），帮助你把风控策略从“看起来有效”推进到“在未知时间区间内依然稳健”。

一、学习目标：从“会跑回测”到“会做可信验证”

完成本章学习后，你应建立以下四类目标：

• 概念目标：准确区分样本内、样本外、时间外验证、前向滚动验证与回放评估，理解它们在交易风控中的不同职责。
• 方法目标：掌握时间切分、滚动窗口、扩展窗口、purge/embargo、回放时钟与事件驱动回放的基本流程。
• 工程目标：能够设计一套可复现的验证流水线，包括数据版本、特征时点、标签时点、评估指标与日志留痕。
• 判断目标：能够识别常见泄漏路径，判断一次回放评估是否可信，并给出修正方案。

二、核心原理：为什么时间结构决定验证可信度

交易风控的数据具有强烈的时间依赖：特征来自过去，标签来自未来，决策发生在当下。若在切分数据时忽略时间顺序，就会出现三类典型问题：

1. 未来信息泄漏：训练集包含了验证期之后的信息，模型“偷看”了未来。
2. 重叠标签污染：相邻样本的标签窗口重叠，导致训练与验证边界模糊。
3. 回放时钟错位：回放时使用了收盘后才知道的数据，却当作盘中决策输入。

时间外验证的核心思想是：训练、验证、测试必须按时间先后严格分离，并在边界处加入 purge（清除重叠样本）与 embargo（隔离缓冲期）。回放评估则进一步模拟真实交易时钟，按事件顺序逐笔推进，确保每个决策只使用当时可得的信息。

时间轴示意：
|---- 训练集 ----|-- purge --|-- 验证集 --|-- embargo --|-- 测试集 --|
过去 --------------------------> 现在 --------------------------> 未来

回放时钟：
t1 行情到达 -> t2 特征计算 -> t3 风控决策 -> t4 订单执行 -> t5 绩效归因

三、方法流程：从数据切分到回放评估的完整链路

一套可信的验证流程通常包含六个步骤：

步骤	关键动作	产出物	常见风险
1. 数据准备	确定数据版本、时区、复权方式、缺失值处理	可复现的数据快照	时区不一致导致时点错位
2. 时间切分	按时间划分训练、验证、测试，设置 purge/embargo	切分配置文件	随机切分造成泄漏
3. 特征与标签	明确特征可得时点与标签计算窗口	特征字典与标签定义	标签窗口重叠污染
4. 模型训练	仅在训练集拟合，验证集调参	模型与超参数	用测试集调参
5. 回放评估	按事件时钟逐笔推进，记录决策与执行	回放日志与绩效报告	回放时钟与实盘不一致
6. 复盘归因	对比样本内、时间外与回放结果，定位衰减来源	归因报告与改进项	只看收益不看风险调整后指标

在工程实现上，建议把切分与回放参数显式配置，避免隐式默认值：

validation:
  train_start: 2021-01-01
  train_end:   2023-12-31
  purge_days:  5
  valid_start: 2024-01-06
  valid_end:   2024-06-30
  embargo_days: 3
  test_start:  2024-07-04
  test_end:    2024-12-31
replay:
  clock: event_time
  latency_ms: 50
  fill_model: partial
  log_level: debug

四、案例与场景：一次失败回测的复盘

某团队开发了一个波动率过滤风控策略，样本内夏普比率为 2.1，但上线后三个月降至 0.4。复盘发现三个问题：第一，特征使用了当日收盘后的波动率，却用于当日盘中决策；第二，训练集与验证集随机切分，导致未来信息泄漏；第三，回放时未模拟订单延迟，成交价格过于理想。修正后，他们改用时间外验证并加入 purge/embargo，回放时钟改为事件驱动，样本外夏普比率降至 1.2，但与实盘表现基本一致。这个案例说明：验证结果的可信度，比验证结果的漂亮程度更重要。

五、常见误区与复盘要点

• 误区一：样本外等于时间外。样本外可能仍是随机切分，时间外强调严格的时间先后。
• 误区二：回放就是回测。回测通常按 bar 推进，回放强调事件时钟与决策时点一致性。
• 误区三：指标越高越好。时间外验证的目标是稳健性，而非最大化历史收益。
• 误区四：忽略交易成本与延迟。回放评估必须包含滑点、手续费与延迟模型。

六、整体知识框架与实战路线图

本课程后续将围绕四条主线展开：数据与时间结构、验证切分方法、回放评估工程、归因与迭代。你可以把学习路线理解为：先建立时间观，再掌握切分法，然后落地回放系统，最后形成复盘闭环。

学习路线图：
时间结构 -> 切分方法 -> 回放工程 -> 归因迭代
   |           |           |           |
数据时点    purge/embargo  事件时钟   绩效归因
标签窗口    滚动窗口       延迟模型   泄漏排查
时区处理    扩展窗口       日志留痕   稳健性评估