1. 组学流程工程与Snakemake定位

组学数据分析很少是“跑一个命令就结束”的任务。以 RNA-seq 为例，从原始 FASTQ 到差异表达结果，中间通常要经过质控、比对、定量、合并矩阵、统计建模等多个阶段；每个阶段又可能包含多个样本、多个参数组合和多种参考文件。真正让研究者头疼的，往往不是某个算法不会用，而是当样本从 6 个变成 60 个、当参数需要反复调整、当半年后要复现同一批结果时，整个分析过程变得难以管理。

从脚本到工作流：痛点在哪里

最朴素的做法是写一个 shell 脚本，把命令按顺序排列。这种方式在样本少、流程短时可行，但一旦规模扩大，问题会集中暴露：

• 重复计算：脚本从头跑到尾，已经完成的比对结果无法复用，改一个参数就要全部重跑。
• 依赖混乱：某一步失败后，后续步骤可能基于不完整结果继续执行，错误被悄悄传递。
• 环境漂移：软件版本、参考基因组版本、参数没有记录，换一台机器结果就不同。
• 并行困难：手工把样本拆成多份提交到集群，容易漏样本、重样本，日志也难以对应。
• 不可复现：论文投稿或合作者要求复现时，无法准确还原当时的执行路径。

这些问题的本质，是“分析逻辑”和“执行管理”混在了一起。脚本只描述了命令，却没有描述任务之间的依赖关系、每个任务的输入输出以及什么条件下需要重新执行。工作流管理系统正是为解决这一层问题而出现的。

Snakemake 的核心优势

Snakemake 是一个基于 Python 的工作流管理系统，它的设计思想可以概括为“用规则描述任务，用文件定义依赖”。一条规则（rule）声明输入文件、输出文件、执行命令和可选参数，Snakemake 根据文件之间的依赖关系自动构建有向无环图（DAG），并决定执行顺序。

它的几个关键优势特别适合组学场景：

• 基于文件的目标驱动：你只需告诉 Snakemake 想要什么最终文件，它会反向推导需要哪些中间文件、哪些规则，并只执行缺失或过期的部分。
• 自动并行与集群调度：通过 --cores 或集群执行后端，独立任务可以并行运行，无需手工拆分样本。
• 环境与版本可记录：结合 conda、容器或 --use-conda，可以把软件环境写进流程，保证跨机器一致。
• 可读性与可维护性：规则结构清晰，样本、参数、参考文件通过配置文件传入，流程本身不写死具体样本。
• 断点续跑与错误定位：失败任务会明确报错，已完成的输出不会重复计算，便于调试和增量更新。

组学场景中的典型需求

组学流程通常具有以下特征，这些特征直接决定了工作流系统需要具备的能力：

以 RNA-seq 为例，一个典型流程会包含：fastp 质控、STAR 或 HISAT2 比对、featureCounts 定量、DESeq2 差异分析。每一步的输出都是下一步的输入，样本之间又相互独立。Snakemake 恰好能同时表达“样本内串行依赖”和“样本间并行独立”这两种结构。

图中展示了三个样本并行经过质控、比对、定量，再汇聚到合并矩阵与差异分析的过程。Snakemake 读取样本表后，用通配符 {sample} 自动展开每个样本的规则实例；当指定目标文件 results/deseq2.csv 时，它会反向检查哪些中间文件缺失或过期，只调度必要的任务。样本之间可以并行，样本内部严格串行，这正是组学流程最自然的执行结构。

课程项目总览

本课程将围绕一个完整的 RNA-seq 差异表达分析项目展开，逐步构建一个可复现的 Snakemake 工作流。项目从原始 FASTQ 出发，经过质控、比对、定量、合并矩阵，最终输出差异表达结果和质控报告。过程中会涉及：

• 如何组织目录结构，让输入、中间结果、最终结果和日志各归其位；
• 如何用配置文件管理样本、参考基因组路径和参数；
• 如何编写规则、使用通配符、声明输入输出和资源；
• 如何利用 --dry-run 检查 DAG、用 --cores 并行执行；
• 如何结合 conda 固定软件环境，保证跨平台复现；
• 如何阅读日志、定位失败任务、实现断点续跑。

整个课程的目标不是让你记住 Snakemake 的所有语法，而是建立一种“流程工程”的思维方式：把分析拆成有明确输入输出的任务，用依赖关系组织它们，用配置和版本控制保证可复现，用日志和报告让结果可追踪。当你面对新的组学数据类型时，这套方法可以迁移到任何多步骤、多样本的分析场景中。