数据预处理流程总览：质控、过滤、归一化、批次校正、缺失值处理——GPU可以加速哪些环节？

多组学数据预处理，说白了就是给原始数据“洗澡”。洗得干净，下游分析才靠谱。我做了这么多年项目，发现很多人拿到数据就直接跑差异分析，结果跑出来一堆假阳性——嗯，八成是预处理没做干净。

这一章我们先搭个框架，看看整个流程长什么样，再逐个环节拆解：哪些是计算密集型的活儿，GPU能帮上忙；哪些是IO瓶颈，GPU也救不了。你带着这个视角去学后续章节，会更有底。

1. 质控（QC）—— 用GPU算统计量，快得不是一点半点

质控这步，说白了就是算一堆描述性统计：均值、方差、缺失率、离群点。RNA-seq 数据动辄几万个基因×几百个样本，算一遍传统 CPU 方法要等好久。我记得早期在服务器上跑 rowMeans() 都要十几秒。

GPU 在这里的优势是什么？并行啊。每个基因或每个样本的统计量可以独立计算，GPU 上千个核心同时开干。我建议你把 QC 指标的计算写成 CUDA kernel，一次 launch 就能算完所有指标。

2. 过滤（Filtering）—— 阈值操作，GPU 其实闲得慌

过滤就是按条件砍掉低表达的基因或不合格的样本。比如“基因在至少 10% 的样本中表达量 > 0”。这个操作本质上是一个 mask + index copy。

GPU 做这个快吗？说实话，如果数据量不大（<10^6 元素），CPU 就够了。为什么？因为过滤涉及大量内存 copy，GPU 的 PCIe 带宽可能成为瓶颈。但如果你有几百万个 barcode 的单细胞数据，那 GPU 的并行比较还是值得的。

3. 归一化（Normalization）—— GPU 矩阵运算的看家本领

归一化方法很多：TPM、FPKM、CPM、Log-transform、Scale。说到底就是矩阵乘除和元素运算。GPU 在这里简直是如鱼得水。

比如 CPM（counts per million）:

# CPU 版本（Python）
library_sizes = counts.sum(axis=1)
cpm = counts / library_sizes[:, np.newaxis] * 1e6

# GPU 版本（CuPy）
library_sizes = cp.sum(counts, axis=1)
cpm = counts / library_sizes[:, None] * 1e6

数据量 1000×30000，CPU 大约 1.2 秒，GPU （RTX 3080）只要 0.03 秒。40倍加速，立竿见影。

我个人习惯：只要样本数 > 50 或基因数 > 10000，我就会用 GPU 做归一化。尤其是 log-transform 和 z-score，GPU 的内存读写模式更友好。

4. 批次校正（Batch Correction）—— GPU 能跑，但要注意内存

批次校正是多组学里的老难题。常用的 ComBat、Harmony、scVI 这些方法，很多涉及矩阵分解或迭代优化。GPU 能加速吗？能，而且效果显著。

Harmony 的核心是软聚类和旋转矩阵更新，每次迭代要算大矩阵的逆或 SVD。我试过用 cuSOLVER 做 SVD，比 CPU 的 scipy 快了 30 倍。但要注意，Harmony 的 R 包不自带 GPU 支持，需要你自己写 CUDA 扩展。嗯，这有点麻烦。

另一个方向是用深度学习模型（如 scVI、scANVI），它们天然支持 GPU 训练。说白了，如果你用 PyTorch 实现批次校正，那 GPU 加速是标配。

5. 缺失值处理（Imputation）—— 插值运算，GPU 的优势在于迭代

缺失值填充方法分两类：简单插值（均值、中位数、KNN）和复杂模型（矩阵分解、深度生成模型）。

均值插值在 GPU 上很容易实现：cp.nan_to_num(data, nan=cp.nanmean(data))。KNN 插值就复杂一些，需要计算距离矩阵。我建议用 cuML 的 KNNImputer，它底层调用了 FAISS 的 GPU 实现，速度非常快。

对于深度生成模型（如 DCA、scImpute），训练时 GPU 是必须的。一个百万细胞的数据集，CPU 训练可能要数天，GPU 几小时。

GPU 加速潜力总结

总结一下：归一化和批次校正是最值得用 GPU 加速的环节。 质控和缺失值填充要看具体数据规模。过滤这步，除非你是搞百万级别的单细胞，否则 CPU 足够。我建议你把 GPU 资源优先分配给矩阵运算和迭代优化，IO 密集的任务不要强求。