3. 训练集与测试集概念：机器学习中训练集、验证集、测试集的定义与风险定价中的严格切分

在风险定价模型中，数据是燃料，但错误的燃料会烧毁引擎。机器学习中的训练集、验证集与测试集是模型开发与评估的三大基石。在金融风控领域，数据的时间序列特性与样本选择偏差使得这三者的切分不再是简单的随机抽样，而是一场关乎模型真实收益与风险暴露的严谨工程。

3.1 三大数据集的精确定义

3.2 为什么在风险定价中需要严格切分？

金融数据具有天然的时间依赖性和非平稳性。如果切分不当，模型会“偷看未来”，导致在回测中表现优异，但在实际放贷中亏损惨重。以下是三大核心原因：

1. 防止未来信息泄露（Look-ahead Bias）
   如果训练集包含未来的样本，模型会学到未来才发生的违约事件，导致定价过低，风险被严重低估。
2. 避免过拟合与选择偏差
   验证集用于调参，测试集用于最终评估。若三者混用，模型会记住噪声而非真实规律，在真实场景中失效。
3. 模拟真实放贷的时间序列结构
   风险定价模型通常基于历史放贷数据。严格按时间切分（如训练集用2018-2020年，测试集用2021年）才能模拟模型在“未来”的表现。

3.3 风险定价中的标准切分流程

下图展示了在风险定价场景下，基于时间序列的严格切分流程：

3.4 切分策略对比：随机切分 vs 时间序列切分

3.5 代码示例：基于时间序列的切分实现

以下Python代码展示了如何在风险定价场景中按时间严格切分数据集：

import pandas as pd
from sklearn.model_selection import TimeSeriesSplit

# 假设df包含历史放贷数据，且已按放贷日期排序
df = pd.read_csv('loan_data.csv')
df['loan_date'] = pd.to_datetime(df['loan_date'])
df = df.sort_values('loan_date')

# 定义切分时间点
train_end = '2020-06-30'
val_end = '2020-09-30'

# 严格按时间切分
train = df[df['loan_date'] <= train_end]
val = df[(df['loan_date'] > train_end) & (df['loan_date'] <= val_end)]
test = df[df['loan_date'] > val_end]

print(f"训练集样本数: {len(train)}")
print(f"验证集样本数: {len(val)}")
print(f"测试集样本数: {len(test)}")

# 使用TimeSeriesSplit进行交叉验证（可选）
tscv = TimeSeriesSplit(n_splits=3)
for train_idx, test_idx in tscv.split(train):
    # 在训练集内部进行时间序列交叉验证
    pass