3. 生物实验数据基础
在AI辅助生物实验设计中，模型的上限往往不由算法决定，而由数据决定。理解生物实验数据的类型、来源与质量特征，是构建可靠AI模型的第一步。本节将从数据类型出发，逐步深入到质量控制、标准化与面向建模的预处理方法，形成一条从原始数据到可训练数据集的完整链路。
一、常用数据类型与数据来源
生物实验数据可大致分为以下几类，每类都有其独特的结构特征与建模挑战：
- 序列数据：DNA/RNA/蛋白质序列，本质是离散符号串，长度可变。来源包括测序仪（Illumina、Nanopore）、公共数据库（NCBI GenBank、UniProt）。建模时常用one-hot编码或k-mer嵌入。
- 表达谱数据：转录组（RNA-seq）、蛋白质组（质谱）、代谢组数据，表现为高维连续向量。来源如GEO、ArrayExpress、PRIDE。典型特征是样本量小、维度高（p≫n）。
- 图像数据：显微成像、病理切片、荧光标记图像。来源包括高内涵筛选（HCS）平台、共聚焦显微镜。建模常用卷积神经网络提取形态学特征。
- 结构数据：蛋白质三维结构（PDB）、分子构象、冷冻电镜密度图。来源为PDB、EMDB。适合图神经网络或等变网络建模。
- 表型与实验条件数据：细胞活力、IC50、生长曲线、实验批次、试剂浓度等。来源为实验室信息管理系统（LIMS）或电子实验记录本（ELN）。这类数据常作为标签或协变量。
不同来源的数据在格式、精度、噪声水平上差异巨大。例如，RNA-seq原始读段需经过比对、定量才能得到表达矩阵；质谱数据需经过峰识别与归一化；图像数据需经过分割与特征提取。因此，数据来源决定了后续预处理的复杂度。
二、质量控制：识别与处理低质量数据
质量控制（QC）的目标是识别并剔除或修正不可靠的数据点，避免噪声误导模型。不同数据类型的QC指标不同：
- 测序数据：Phred质量分数（Q30比例）、GC含量偏差、接头污染、重复率。常用工具FastQC、MultiQC。低质量读段需修剪或过滤。
- 表达谱数据：样本间相关性、PCA离群检测、文库大小、检测到的基因数。离群样本应检查是否源于批次效应或降解。
- 图像数据：对焦质量、信噪比、光照均匀性、通道串扰。模糊或过曝图像应剔除或校正。
- 通用原则：记录QC指标并可视化，设定阈值（如Q30>80%、样本相关性>0.9），对不合格样本标记而非直接删除，保留审计痕迹。
三、标准化：消除技术偏差
标准化旨在消除非生物学因素带来的系统偏差，使不同样本、不同批次的数据可比。常用方法包括：
- 文库大小标准化：如CPM（每百万计数）、TPM（每千碱基每百万转录本），用于RNA-seq。
- 分位数标准化：强制所有样本的表达分布一致，适用于样本间整体分布相似的场景。
- 批次效应校正：ComBat、limma removeBatchEffect，利用经验贝叶斯或线性模型去除批次影响。
- 图像标准化：背景扣除、光照校正、Z-score标准化每个通道。
标准化的选择需谨慎：过度标准化可能消除真实的生物学差异。建议在标准化前后分别进行PCA或聚类，观察样本分布变化，确认批次效应是否被去除而生物学分组是否保留。
四、面向AI建模的预处理方法
预处理是将标准化后的数据转换为模型可接受的张量形式，并处理生物数据的特殊挑战：
- 缺失值处理：质谱数据常含大量缺失值。可删除缺失率>30%的特征，或用kNN、随机森林插补。注意区分“真缺失”与“低于检测限”。
- 特征选择与降维：高维小样本场景下，先过滤低方差特征，再用LASSO、随机森林或PCA/UMAP降维，减少过拟合。
- 编码与嵌入：序列数据用one-hot或预训练嵌入（如ESM、DNABERT）；类别变量用独热编码或目标编码。
- 数据增强：图像可旋转、翻转、加噪声；序列可反向互补、随机突变；表达谱可加高斯噪声或混样。
- 数据集划分：必须按生物学重复或批次划分训练/验证/测试集，避免同一批次数据泄漏。推荐使用GroupKFold。
以下SVG展示了从原始数据到AI模型输入的完整预处理链路，涵盖数据类型、QC、标准化与建模预处理的关键节点。
五、关键实践建议
在实际项目中，建议将上述流程固化为可复现的预处理管道。例如，使用Snakemake或Nextflow编排QC与标准化步骤，用scikit-learn的Pipeline封装特征选择与编码，确保训练与推理阶段预处理一致。同时，记录每一步的参数与版本，便于追溯与复现。
此外，生物数据的异质性要求我们针对不同模态设计不同的预处理策略。例如，单细胞数据需考虑稀疏性与 dropout 事件，空间转录组需保留空间坐标信息，时间序列数据需对齐时间轴。没有一种预处理方案能通吃所有场景，理解数据本身的生物学含义，才是选择合适方法的前提。
最后，预处理不是一次性任务，而应随模型迭代不断优化。通过监控模型在验证集上的表现，反推预处理环节是否存在信息损失或引入偏差，形成“数据—模型—反馈”的闭环，才能真正发挥AI在生物实验设计中的价值。