3. 训练集划分方式：随机划分、按批次划分、按条件划分

聊完了批次效应的来源，咱们得直面一个关键问题：训练集到底该怎么切？

你可能会想，不就是个数据划分吗，有啥好纠结的？嗯，我以前也这么觉得。直到有一次，我用随机划分训了一个图像生成模型，效果看起来不错，结果一上实际数据就崩了。排查了半天，问题就出在划分方式上。

说白了，不同的划分方式，决定了模型能不能学会真正的生成规律，还是只会背题。

3.1 随机划分——最直观，但也最容易翻车

随机划分是最基础的做法。就是把所有样本打乱，按比例分成训练集和测试集。比如 80% 训练，20% 验证。

# 标准随机划分示例
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    data, labels, test_size=0.2, random_state=42
)

优点很明显：实现简单，数据分布理论上一致。但这里有个大坑——分布泄露。

我在项目中遇到过这么个情况。一组细胞影像数据，同一个病人的样本被随机分到了训练集和测试集。模型在测试集上准确率高达 98%，换成新病人数据直接掉到 60%。为什么会这样？因为模型学会了识别病人个体的特征，而不是疾病本身的特征。

3.2 按批次划分——模拟真实部署环境

按批次划分，就是把同一批次（batch）的数据整体划到同一集合里。这在测序数据、实验数据里特别常见。

# 按批次划分伪代码
batch_groups = data.groupby('batch_id')
train_batches = batch_groups.sample(frac=0.8, random_state=42)
test_batches = batch_groups.drop(train_batches.index)

train_data = train_batches.explode('samples')
test_data = test_batches.explode('samples')

这样做的好处：更真实地模拟了实际应用场景。模型在新的批次数据上表现如何，一目了然。

但要注意，如果批次数量太少，训练集和测试集的分布可能差异很大。我建议至少保证 10 个以上的独立批次，不然划分出来的评估结果很不稳定。

还有一个细节：批次索引泄露。如果你在特征里包含了批次 ID 或与批次强相关的信息，模型就能轻松通过批次 ID 来区分数据，而不是学习真正的生成规律。我曾经就踩过这个坑，加了 batch embedding 之后模型在验证集上表现完美，换了个新批次直接扑街。

3.3 按条件划分——最严格，也最有挑战

按条件划分，是以某个关键属性（如疾病亚型、药物类型、细胞系）为单位进行分组。同一个条件的所有样本必须进入同一集合。

# 按条件划分示例
conditions = data['cell_type'].unique()
train_conditions, test_conditions = train_test_split(
    conditions, test_size=0.2, random_state=42
)

train_mask = data['cell_type'].isin(train_conditions)
test_mask = data['cell_type'].isin(test_conditions)

train_data = data[train_mask]
test_data = data[test_mask]

这种划分方式最严格。模型必须学会跨条件的泛化，而不是记住某个条件内的模式。比如训练只见过 A、B 两种细胞类型的数据，要在从未见过的 C 类型上做生成。

但挑战也大：条件的数量如果太少，模型根本学不到泛化的能力。我一般建议每个条件至少要有 100 个样本，条件数量不少于 5 个，否则训练效果很难保证。

划分方式	适用场景	主要风险
随机划分	样本独立、无批次效应	分布泄露、过拟合
按批次划分	有明确批次结构的数据	批次过少、索引泄露
按条件划分	需要验证跨条件泛化	条件少、样本不足

3.4 三种方式的对比与选择策略

那实际项目中到底该选哪种？我个人的经验是：没有银弹。

你可以先问自己三个问题：

1. 数据有没有明显的群体结构？比如同一批次、同一病人、同一次实验。如果有，就别随机切。
2. 最终部署场景是什么？是处理全新的数据批次，还是处理已知类别的样本？前者用按批次划分，后者用按条件划分。
3. 样本量够不够？样本多且独立，随机划分够用；样本少但有结构，必须用更严格的划分方式。

在实际工作中，我经常混合使用。比如先用按条件划分保证跨类别的泛化能力，再在每种条件下做按批次划分来验证批次鲁棒性。这不冲突，反而能交叉验证模型的表现。

好了，三种划分方式讲完了。你可能会问，那选择之后呢？模型怎么才能在这些划分下真正学会消除批次效应？这就是下一节要聊的内容了。