2. 基础概念

在交易风控的模型研发中，最危险的不是策略亏钱，而是你以为它赚钱。这种错觉通常来自评估方法本身出了问题。本章先把五个核心术语讲清楚：时间外验证、回放评估、样本外测试、过拟合、数据泄漏。它们是后续所有实战工作的共同语言。

一、核心原理：为什么时间维度是风控评估的生命线

金融数据与图像、文本数据最大的区别在于时间不可逆且分布持续漂移。今天的市场结构、流动性、监管规则与三年前不同，未来也不会简单重复过去。因此，任何随机切分训练集与测试集的做法，都会让模型“偷看未来”，产生虚高的评估结果。

时间外验证（Out-of-Time Validation）的核心思想是：用过去训练，用未来验证。训练集的时间必须严格早于验证集，二者之间通常还要留出一段间隔，称为净化期（Purge）或禁运期（Embargo），用于切断标签窗口与特征窗口的重叠。

二、五个术语的定义与业务场景

三、方法流程：一次合规的时间外验证怎么做

1. 确定预测时点与标签窗口：明确每个样本在什么时刻做出决策，标签覆盖未来多长时间。
2. 按时间排序并切分：训练集 → 净化期 → 验证集 → 净化期 → 测试集。
3. 在训练集内部做特征工程：标准化、编码、填充的统计量只能来自训练集。
4. 训练与调参：调参只用验证集，测试集在最终评估前保持封存。
5. 回放评估：按时间逐笔重演，记录每笔决策的输入快照与输出。
6. 对比样本内外指标：关注衰减幅度，而非单点数值。

# 时间外切分示例（伪代码）
train_end   = "2023-06-30"
purge_days  = 5
valid_start = "2023-07-06"
valid_end   = "2023-09-30"
test_start  = "2023-10-06"

train = df[df.date <= train_end]
valid = df[(df.date >= valid_start) & (df.date <= valid_end)]
test  = df[df.date >= test_start]

# 标准化统计量仅来自训练集
mu, sigma = train.feature.mean(), train.feature.std()
valid.feature = (valid.feature - mu) / sigma
test.feature  = (test.feature  - mu) / sigma

四、案例与复盘：一次“漂亮”的失败

某团队开发反欺诈模型，随机切分后样本外AUC达到0.94，上线后首月拦截率骤降至0.61。复盘发现三个问题：

• 数据泄漏：特征中包含“近30天平均交易金额”，而该统计量在预测时点尚未完整生成，实际使用了未来数据。
• 随机切分：同一用户的多条记录被分到训练和测试两侧，模型记住了用户而非规律。
• 回放缺失：上线前未做逐笔回放，未发现特征生成延迟导致的空值率飙升。

五、常见误区清单

• 把随机切分的结果称为“样本外”，忽略时间依赖。
• 在切分前对全量数据做标准化或填充，造成统计量泄漏。
• 反复使用测试集调参，测试集事实上变成验证集。
• 回放时使用收盘价或事后修正数据，产生前视偏差。
• 只看AUC、KS等排序指标，忽略时间维度上的稳定性衰减。
• 净化期设置过短，标签窗口与特征窗口重叠。