3. 样本切分基础：训练集、验证集、测试集的概念与比例分配原则

在异常交易检测建模中，样本切分是决定模型泛化能力与评估可信度的关键步骤。错误的切分方式会导致数据泄露、过拟合或评估指标失真。本节系统讲解三种数据集的核心概念、比例分配原则，以及时间序列切分与随机切分的本质差异。

3.1 三种数据集的核心定义与职责

3.2 比例分配原则

比例分配需综合考虑样本总量、异常比例、数据分布稳定性。以下为金融风控场景的推荐分配方案：

3.3 随机切分 vs 时间序列切分

异常交易数据具有天然的时间序列属性，切分方式的选择直接影响模型在真实业务中的表现。

3.3.1 随机切分

原理： 将全部样本随机打乱后按比例分配，不考虑时间顺序。

• 优点： 实现简单，各数据集分布相似度高，适合独立同分布数据。
• 缺点： 在时间序列数据中会导致未来信息泄露——训练集中可能包含未来的交易模式，验证集和测试集中可能包含过去的样本，造成评估结果过于乐观。
• 适用场景： 非时序特征建模、跨时间窗口稳定的规则型特征。

3.3.2 时间序列切分

原理： 严格按照时间顺序划分，训练集使用较早时间段的数据，验证集和测试集使用后续时间段的数据。

• 优点： 模拟真实业务场景，避免未来信息泄露，评估结果更可信。
• 缺点： 若时间窗口内数据分布发生漂移，模型性能可能下降；需要更频繁的模型更新。
• 适用场景： 交易流水、实时风控、欺诈检测等具有明显时间依赖性的场景。

3.4 时间序列切分策略对比

3.5 时间序列切分 vs 随机切分流程对比

3.6 时间序列切分代码示例

以下为基于时间顺序的样本切分实现，适用于交易流水数据：

import pandas as pd
from sklearn.model_selection import train_test_split

# 假设交易数据已按时间排序
df = pd.read_csv('transactions.csv', parse_dates=['trans_time'])
df = df.sort_values('trans_time').reset_index(drop=True)

# 定义切分时间点
train_end = int(len(df) * 0.7)
val_end = int(len(df) * 0.85)

# 时间序列切分
train_df = df.iloc[:train_end]
val_df = df.iloc[train_end:val_end]
test_df = df.iloc[val_end:]

# 分层抽样（保持异常比例）
def stratified_split(df, label_col='is_fraud'):
    """按时间切分后，检查异常比例是否一致"""
    ratios = {
        'train': train_df[label_col].mean(),
        'val': val_df[label_col].mean(),
        'test': test_df[label_col].mean()
    }
    return ratios

# 输出各数据集异常比例
ratio_dict = stratified_split(df)
print(f"训练集异常比例: {ratio_dict['train']:.4f}")
print(f"验证集异常比例: {ratio_dict['val']:.4f}")
print(f"测试集异常比例: {ratio_dict['test']:.4f}")

3.7 切分方式选择决策流程