2. 训练集与测试集基础：机器学习中训练集、验证集、测试集的定义与区别

在绩效归因模型的机器学习流程中，数据集的正确切分是模型泛化能力的基石。本章将系统定义训练集、验证集与测试集的核心概念，并厘清三者之间的本质区别。

2.1 为什么需要划分数据集？

金融时间序列数据具有高噪声、非平稳和信噪比低的特点。如果使用全部数据训练模型，模型会“记住”历史噪声而非学习真实规律，导致在未知数据上表现急剧下降。划分数据集的核心目的是：

• 防止过拟合：避免模型仅记忆历史样本，丧失对未来数据的预测能力。
• 模拟真实场景：用未见过的数据评估模型在实盘环境中的表现。
• 模型选择与调参：通过独立数据筛选最优超参数组合。

2.2 三大数据集的定义

2.3 三者的核心区别

理解三者的区别是构建可靠归因流程的前提。以下从数据参与度、使用频率和评估目标三个维度进行对比：

• 数据参与度：训练集直接参与梯度更新；验证集间接影响模型（通过调参）；测试集完全不参与任何训练或调参过程。
• 使用频率：训练集在每次迭代中使用；验证集在每次调参或每轮epoch后使用；测试集仅在最终模型确定后使用一次。
• 评估目标：训练集关注损失函数下降；验证集关注模型泛化趋势（防止过拟合）；测试集关注最终绩效归因报告的可靠性。

2.4 数据集划分的典型比例

在绩效归因任务中，由于金融数据通常样本量有限，推荐采用以下比例进行切分：

2.5 数据集切分流程（时间序列顺序）

以下SVG图展示了绩效归因中按时间顺序切分数据集的完整流程：

2.6 绩效归因中的特殊注意事项

金融时间序列的切分与标准机器学习任务存在显著差异，以下是必须遵守的规则：

• 严格时间顺序：训练集必须是最早的时间段，验证集次之，测试集最新。禁止使用未来数据预测过去。
• 避免数据泄露：在计算因子暴露或风格特征时，只能使用训练集内的统计量（如均值、标准差），验证集和测试集必须使用训练集计算出的参数进行变换。
• 滚动窗口验证：对于样本量较小的归因任务，推荐使用时间序列交叉验证（如滚动窗口、扩展窗口），而非单次固定切分。

2.7 代码示例：基于时间顺序的数据集切分

以下Python代码展示了如何在绩效归因任务中按时间顺序切分数据集：

import pandas as pd
import numpy as np
from sklearn.model_selection import TimeSeriesSplit

# 假设df包含日期列'date'和归因特征
df = pd.read_csv('performance_attribution_data.csv')
df['date'] = pd.to_datetime(df['date'])
df = df.sort_values('date')

# 按时间顺序手动切分（推荐用于生产环境）
train_end = int(len(df) * 0.6)
val_end = int(len(df) * 0.8)

train_df = df.iloc[:train_end]
val_df = df.iloc[train_end:val_end]
test_df = df.iloc[val_end:]

print(f"训练集: {train_df['date'].min()} ~ {train_df['date'].max()}")
print(f"验证集: {val_df['date'].min()} ~ {val_df['date'].max()}")
print(f"测试集: {test_df['date'].min()} ~ {test_df['date'].max()}")

# 使用TimeSeriesSplit进行滚动验证（用于调参）
tscv = TimeSeriesSplit(n_splits=5)
for fold, (train_idx, val_idx) in enumerate(tscv.split(df)):
    print(f"Fold {fold+1}: 训练样本数={len(train_idx)}, 验证样本数={len(val_idx)}")

2.8 常见陷阱与避坑指南