批次效应概述
我们先从一个大实话开始。做文献数据抽取的时候，最让人头疼的问题之一，就是批次效应。说白了，就是数据里混进了「非生物学的系统偏差」。明明同一个基因，在这篇文献里高表达，在那篇文献里低表达——不是生物本身变了，而是实验条件、分析方法、数据来源不一样。这种干扰我最开始做这个方向的时候，还真没太当回事，直到被坑过一次，后面就再也不敢绕开这个坑了。
什么是批次效应
批次效应，简单讲就是不同批次的数据之间，因为非实验因素带来的系统性差异。在文献挖掘的场景里，它不是直接来自测序仪或微阵列，而是来自文献本身的「采集条件」差异。
举一个我自己的例子。去年做一个癌症文献挖掘项目，从 PubMed 里拉了八千多篇摘要来做基因-疾病关联抽取。数据分了三批爬取，第一批用 API 分页拿，第二批用 FTP 下载 XML，第三批是跨库查到的补充材料。结果一跑聚类，发现第一批和第二批的数据天然就分成了两堆，跟疾病类型毫无关系。这就是批次效应在文献数据里的活生生体现。
批次效应的常见原因
我总结过文献抽取场景中批次效应的几大来源，你可以对着检查自己的数据。
| 来源 | 典型场景 | 我碰到过的情况 |
|---|---|---|
| 数据库版本差异 | 同一查询在不同时间点执行，PubMed/MEDLINE 更新了字段或索引 | 有次发现 2015 年和 2020 年用相同 MeSH 检索词出来的摘要长度分布完全不同 |
| 爬取策略不同 | 一次用 API、一次用网页抓取、一次用 FTP 批量下载 | API 返回的 XML 有结构化的日期字段，网页抓取经常缺摘要 |
| 语言/区域偏差 | 中文文献库 vs 英文文献库、欧美期刊 vs 亚太期刊 | 处理 CNKI 和 PubMed 的数据时，连标点符号的分布都不一样 |
| 时间变化 | 早期文献摘要更短，近年摘要模式变化 | 2005 年前很多文献只有几十个词的摘要，现在动不动就四五百 |
| 文本处理流水线 | 分词工具、实体识别模型版本不同 | 同一个文献集合换了个 NER 模型跑，输出结果直接漂移 |
你想想看，这些因素叠加起来，会让下游的统计分析和机器学习模型学到什么？学到的是「批次特征」，不是生物知识。这也是为什么我反复强调：文献挖掘里的批次效应识别和处理，和你在组学数据里做的批次校正同样重要，甚至更难——因为你往往不知道混进了什么。
批次效应在文献数据中的典型表现
怎么判断你手里的文献数据有没有批次效应？我一般看三个信号：
- 分布漂移：同一个特征（比如基因提及次数、句子长度、摘要字数）在不同批次中分布明显不同。画个密度图就能看出来。
- 聚类分层：不做任何生物学标注的聚类，按批次来源分得清清楚楚。我见过最极端的一次，PCA 图上第一批和第二批相距十万八千里。
- 模型表现虚高：你用一个批次的数据训练，在另一个批次上验证，效果断崖式下降——这叫批次过拟合。
嗯，这里要注意：不是所有批次差异都是坏事。有些看起来像批次效应的模式，可能确实是真实生物学差异——比如你要比较的是不同年份的文献，那确实是知识在演变。所以第一步永远是区分「批次效应」和「真实差异」。
知识体系结构
到了这里，我画张图把这一章的核心逻辑梳理一下。别嫌老套，这种层级图看着最清楚。
这张图我想表达的是：批次效应不是孤立的概念，它从定义出发，连接到具体的原因，又通过典型表现为我们提供识别的信号。然后才进入后续的识别、处理、评估流程。我每次做课程前都会先画这么一张逻辑图，确保自己脑子里别走偏。