📚 课程目录第3章简单随机切分

3. 简单随机切分：train_test_split 的原理与风控局限

简单随机切分是机器学习中最基础的样本划分方法。在交易风控场景中，它通过完全随机的方式将数据集拆分为训练集和测试集，不引入任何时间、用户或业务维度的约束。本节将深入剖析其实现原理、适用场景，并重点揭示其在风控建模中极易被忽视的数据泄露风险。

3.1 核心原理与实现

train_test_split 是 scikit-learn 提供的标准随机切分函数。其核心逻辑是：对样本索引进行无放回随机抽样，按指定比例（通常为 70%/30% 或 80%/20%）划分为训练集和测试集。

  关键参数：
  test_size：测试集占比（如 0.3）或绝对数量
train_size：训练集占比（与 test_size 互斥）
random_state：随机种子，保证切分结果可复现
shuffle：是否在切分前打乱数据（默认 True）
stratify：按标签分层抽样，保持类别比例

from sklearn.model_selection import train_test_split

# 假设 X 为特征矩阵，y 为标签（0: 正常交易, 1: 欺诈交易）
X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.3,        # 30% 作为测试集
    random_state=42,      # 固定种子，保证可复现
    stratify=y            # 按标签分层，保持正负样本比例
)

print(f"训练集样本数: {X_train.shape[0]}")
print(f"测试集样本数: {X_test.shape[0]}")
print(f"训练集欺诈占比: {y_train.mean():.4f}")
print(f"测试集欺诈占比: {y_test.mean():.4f}")

分层抽样（stratify）的重要性：在风控场景中，欺诈样本通常占比极低（<5%）。若不使用 stratify=y，随机切分可能导致测试集中欺诈样本比例严重偏离整体分布，甚至出现测试集无欺诈样本的极端情况，使模型评估完全失效。

3.2 适用场景分析

简单随机切分并非一无是处，在以下场景中仍然适用：

场景类型	具体描述	适用性
非时序数据	样本之间不存在时间依赖关系，如静态用户画像数据	✅ 完全适用
独立同分布假设成立	数据分布不随时间、用户群体或业务策略变化	✅ 完全适用
模型快速原型验证	在项目初期快速评估特征有效性或基线模型性能	✅ 可接受
非风控领域的分类任务	图像分类、文本分类等无时间维度的任务	✅ 完全适用
交易风控在线评估	需要模拟未来数据分布变化的场景	❌ 不适用
存在用户或设备重复样本	同一用户的多笔交易可能同时出现在训练集和测试集	❌ 不适用

3.3 风控中的数据泄露风险

在交易风控场景中，简单随机切分最大的隐患是数据泄露（Data Leakage）。数据泄露是指模型在训练过程中接触到了本不应提前获知的信息，导致测试集评估结果过于乐观，模型上线后实际效果大幅下降。

⚠️ 核心风险：简单随机切分完全忽略了交易数据的时间顺序和用户维度，导致训练集和测试集之间存在信息交叉，模型在测试集上的表现无法反映真实上线后的泛化能力。

具体表现为以下三种泄露形式：

时间泄露：训练集中包含未来的交易样本，测试集中包含过去的交易样本。模型学习到了未来才出现的模式或特征分布，在测试集上表现虚高。
用户泄露：同一用户的多笔交易被随机分配到训练集和测试集。模型在训练时已经见过该用户的行为模式，测试时对该用户的预测准确率被高估。
特征泄露：某些特征（如“是否已风控拦截”、“交易后标签”）在训练时本不应可用，但随机切分后这些特征在训练集和测试集中同时存在，模型直接“作弊”。

3.4 风险量化与对比

以下表格量化了简单随机切分在不同风控场景下的风险等级：

风险类型	风险等级	对模型评估的影响	典型表现
时间泄露	🔴 极高	AUC 虚高 0.10~0.25	模型无法识别新出现的欺诈模式
用户泄露	🔴 高	AUC 虚高 0.05~0.15	对老用户预测准确，对新用户完全失效
特征泄露	🔴 极高	AUC 接近 1.0	模型直接使用未来信息或后验标签
样本分布偏移	🟡 中	评估结果不稳定	多次切分结果波动大，无法信任

3.5 避坑指南与最佳实践

在交易风控中，绝对不要直接使用 train_test_split 进行模型评估！

如果必须使用随机切分（如快速原型验证），请务必遵守以下原则：

先按用户分组，再切分：确保同一用户的所有交易只出现在训练集或测试集之一
检查时间戳范围：确认训练集和测试集的时间窗口没有交叉
移除后验特征：删除所有在预测时点不可用的特征（如“是否被风控系统拦截”）
使用分层抽样：设置 stratify=y 保持正负样本比例
多次切分取平均：使用不同的 random_state 多次评估，观察结果稳定性