4、数据准备与划分：训练集/验证集/测试集划分、时间序列数据切分、分层抽样与随机抽样

在 Champion Challenger 对比分析中，数据划分的合理性直接决定模型评估的公正性与泛化能力的可信度。本章将系统讲解三种核心划分策略：随机抽样、分层抽样以及时间序列数据切分，并明确训练集、验证集、测试集各自的作用与划分比例。

4.1 训练集 / 验证集 / 测试集的作用与比例

在对比 Champion 与 Challenger 模型时，必须将数据划分为三个独立子集，避免信息泄露导致的评估偏差。

4.2 随机抽样与分层抽样

随机抽样是最基础的划分方式，适用于数据分布均匀的场景。但当目标变量存在类别不平衡时，随机抽样可能导致验证集或测试集中某些类别缺失，从而无法真实反映模型在少数类上的表现。

分层抽样 通过保持每个子集中目标变量的类别比例与原始数据集一致，解决了上述问题。在 Champion Challenger 对比中，分层抽样能确保两个模型在相同的类别分布下进行公平比较。

4.3 时间序列数据切分

时间序列数据具有时间依赖性，不能使用随机抽样或分层抽样，否则会造成未来信息泄露。在 Champion Challenger 对比中，若使用时间序列数据（如股票价格、传感器读数、用户行为日志），必须采用时间顺序切分。

常见的时间序列切分方法包括：

• 固定时间窗口切分：按时间顺序取前 70% 为训练集，中间 15% 为验证集，最后 15% 为测试集。
• 滚动窗口切分：适用于在线学习或持续对比场景，训练集随时间推移滚动扩展。
• 时间序列交叉验证：按时间顺序依次划分多个训练/验证对，每个验证集始终在训练集之后。

4.4 数据划分的代码实现

以下代码展示了在 Python 中如何实现随机抽样、分层抽样以及时间序列切分，适用于 Champion Challenger 对比分析的数据准备阶段。

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, StratifiedShuffleSplit
from datetime import datetime

# ========== 1. 随机抽样 ==========
def random_split(df, target_col, test_size=0.2, val_size=0.1, random_state=42):
    """随机划分训练集、验证集、测试集"""
    # 先分出测试集
    train_val, test = train_test_split(
        df, test_size=test_size, random_state=random_state
    )
    # 从剩余数据中分出验证集
    val_ratio = val_size / (1 - test_size)
    train, val = train_test_split(
        train_val, test_size=val_ratio, random_state=random_state
    )
    return train, val, test

# ========== 2. 分层抽样 ==========
def stratified_split(df, target_col, test_size=0.2, val_size=0.1, random_state=42):
    """按目标变量分层划分训练集、验证集、测试集"""
    # 先分出测试集（分层）
    train_val, test = train_test_split(
        df, test_size=test_size, stratify=df[target_col], random_state=random_state
    )
    # 从剩余数据中分出验证集（分层）
    val_ratio = val_size / (1 - test_size)
    train, val = train_test_split(
        train_val, test_size=val_ratio,
        stratify=train_val[target_col], random_state=random_state
    )
    return train, val, test

# ========== 3. 时间序列切分 ==========
def temporal_split(df, date_col, train_ratio=0.7, val_ratio=0.15):
    """按时间顺序切分训练集、验证集、测试集"""
    df = df.sort_values(by=date_col).reset_index(drop=True)
    n = len(df)
    train_end = int(n * train_ratio)
    val_end = int(n * (train_ratio + val_ratio))
    train = df.iloc[:train_end]
    val = df.iloc[train_end:val_end]
    test = df.iloc[val_end:]
    return train, val, test

# ========== 使用示例 ==========
# 假设 df 是包含特征和目标变量的 DataFrame
# train, val, test = stratified_split(df, target_col='churn_label')
# train_t, val_t, test_t = temporal_split(df, date_col='transaction_date')

4.5 划分策略选择矩阵

根据数据类型和业务场景，选择合适的划分策略：