2. 生物数据任务的特征分析
在生物数据分析中，任务编排与调度之所以比通用批处理复杂，根本原因在于生物数据任务本身具有一组相互叠加的特征。这些特征不是孤立存在的：数据规模决定了存储与传输策略，异构性决定了工具链的封装方式，计算与IO的混合决定了资源分配模型，依赖关系决定了DAG的拓扑结构，而动态性则决定了调度器必须具备运行时决策能力。理解这五个维度，是设计调度系统的前提。
一、数据规模：从GB到TB的阶梯
生物数据任务的第一个显著特征是数据量跨度极大。以一个典型的人类全基因组重测序（WGS，30×覆盖度）为例，单个样本的原始FASTQ文件约为90–120 GB（双端各约45–60 GB），比对后的BAM文件约80–100 GB，经过变异检测得到的VCF文件则压缩至约1–2 GB。而一个转录组样本的FASTQ通常只有5–10 GB。这意味着同一套调度系统需要同时处理“单文件百GB级”和“单文件MB级”的任务。
数据规模直接影响三个调度决策：第一，任务是否需要数据本地化（data locality），即把计算调度到数据所在节点，避免跨网络传输百GB文件；第二，中间结果的落盘策略，例如比对后的BAM是否需要保留、是否直接流式传递给下游；第三，并行粒度，例如将一个大FASTQ按染色体或按read group拆分为多个子任务并行处理。实际工程中，常以“单任务输入数据量”和“单任务输出数据量”作为调度器的资源预估输入，而不是仅凭任务名称分配资源。
二、异构性：工具、格式与运行环境的差异
生物信息工具链的异构性体现在三个层面。其一是工具异构：BWA、STAR、GATK、Salmon等工具由不同团队开发，命令行接口、退出码语义、临时文件行为各不相同。其二是数据格式异构：FASTQ、BAM、CRAM、VCF、BED、GTF、BigWig等格式的读写库和压缩方式不同，同一任务可能需要同时处理多种格式的转换。其三是运行环境异构：部分工具依赖特定版本的Python、R、Java或CUDA，甚至依赖特定glibc版本。
调度系统应对异构性的常见做法是为每个工具定义“任务模板”，模板中声明镜像、命令模板、输入输出格式、资源需求和退出码解释规则。例如，一个GATK HaplotypeCaller任务模板可以声明：镜像为broadinstitute/gatk:4.4.0.0，输入为BAM和参考基因组FASTA，输出为VCF，内存需求8 GB，线程数1。这样调度器无需理解工具内部逻辑，只需按模板匹配资源与依赖。
三、计算密集型与IO密集型：两类任务的资源画像
生物数据任务在资源消耗上呈现明显的两极分化。计算密集型任务以CPU或GPU为主要瓶颈，典型代表是序列比对（BWA-MEM、STAR）、变异检测（GATK局部重组装）、系统发育树构建（RAxML、IQ-TREE）。这类任务的CPU利用率长期接近100%，内存占用相对稳定，磁盘IO较低。例如，BWA-MEM比对30×WGS在32核节点上约需2–4小时，CPU时间占绝对主导。
IO密集型任务以磁盘读写或网络传输为主要瓶颈，典型代表是FASTQ质控（FastQC）、格式转换（samtools view）、文件压缩/解压、数据下载与上传。这类任务CPU利用率可能只有10%–30%，但磁盘吞吐或网络带宽接近饱和。例如，将100 GB BAM转换为CRAM，瓶颈在磁盘读写速度而非CPU。
调度器若将两类任务混布在同一节点，容易出现“计算任务等IO”或“IO任务抢CPU”的现象。合理的策略是：为计算密集型任务分配高CPU配额和较低IO权重，为IO密集型任务分配高IO配额和较低CPU权重；或者将IO密集型任务集中调度到具备高速本地SSD或高网络带宽的节点。下图展示了五类典型生物任务在CPU、内存、磁盘IO、网络四个维度上的资源画像对比，以及它们之间的依赖关系与动态性来源。
四、依赖关系：从线性链到复杂DAG
生物数据分析流程天然具有依赖关系。一个典型的WGS分析流程可以抽象为：FASTQ → 质控 → 比对 → 排序去重 → 变异检测 → 注释 → 报告。这看似是一条线性链，但实际DAG要复杂得多。例如，质控可能产生“通过”和“失败”两个分支；比对可以按read group拆分为多个并行子任务后再合并；变异检测可以按染色体区间拆分为多个独立任务，最后合并VCF。这些拆分与合并操作使DAG从线性变为树形或网状。
依赖关系的调度含义在于：调度器必须知道每个任务的前驱集合，只有所有前驱成功完成后才能启动后继任务。同时，依赖关系还决定了关键路径（critical path），即DAG中最长的执行路径。关键路径上的任务延迟会直接拉长整个流程的完成时间，因此调度器应优先为关键路径任务分配资源。在实际系统中，依赖关系通常以有向无环图（DAG）描述，每个节点是一个任务，每条边表示数据依赖或执行顺序依赖。
五、动态性：运行时才确定的因素
如果生物数据任务只是静态DAG，调度问题会简单很多。但实际场景中存在大量动态因素。第一，样本到达时间不确定：测序仪下机时间受上机排队和测序周期影响，调度器无法预先知道所有样本何时可用。第二，数据质量动态变化：质控结果可能触发重测、截断或分支路径，这些分支在流程启动时并不确定。第三，资源可用性波动：集群中其他用户的任务会占用CPU、内存和IO，导致排队时间不可预测。第四，参数依赖上游结果：例如变异检测的区间划分需要先统计比对覆盖度，而覆盖度只有比对完成后才能计算。第五，失败重试与降级：部分任务失败后，可能需要调整下游策略，例如降低阈值或跳过某些样本。
动态性要求调度器具备运行时决策能力：支持条件分支、支持动态任务生成、支持基于资源可用性的重调度、支持失败后的自动重试与降级。在工程实现上，这通常意味着调度器不能只做“静态拓扑排序”，而需要结合事件驱动机制和状态机模型。
六、综合视角：五维特征如何共同影响调度
将五个维度放在一起看，可以得出一个关键结论：生物数据任务的调度不是单一维度的优化问题。数据规模决定了是否需要数据本地化，异构性决定了任务模板的抽象方式，计算/IO画像决定了资源分配策略，依赖关系决定了DAG的拓扑与关键路径，动态性决定了调度器必须支持运行时决策。一个实用的调度系统通常需要同时维护以下信息：每个任务的输入输出数据量、资源画像标签（计算型/IO型/混合型）、前驱与后继集合、预期运行时间、失败重试策略，以及运行时状态（等待、运行、成功、失败、跳过）。