📚 课程目录第1章 Snakemake简介与工作流概念

Snakemake 简介与工作流概念

什么是 Snakemake？

说白了，Snakemake 就是一个帮你把数据分析流程自动化的“管家”。你告诉它你要什么结果，它自己推导出该跑哪些步骤，按顺序执行，还能自动处理中间文件。我最早接触它是在做大规模 RNA-seq 分析的时候，手动脚本堆了快 2000 行，改一个参数就要重构一半……后来换 Snakemake，整个流程从“浆糊”变成了“乐高”。

Snakemake 的核心思想是 基于规则的声明式工作流。你定义每条规则（rule），描述输入、输出和要运行的命令，它就会像解谜题一样自动找出执行顺序，并行跑，还能断点续传。

# 一个最简单的 Snakefile
rule all:
    input: "results/processed.txt"

rule process:
    input: "data/raw.txt"
    output: "results/processed.txt"
    shell: "cut -f1 {input} > {output}"

看到没？你不需要手动写 if-else 判断文件是否存在，也不需要管哪个先跑。Snakemake 自己算依赖关系。

工作流管理系统带来的优势

为什么不用简单 Shell 脚本？我曾在一个合作项目里，五个人各自写不同版本的预处理：有的人用 Python 硬编码路径，有的人写 Makefile，还有人直接手动操作……结果半年后复现原始结果花了整整两周。这就是没有工作流管理的代价。

特性	Shell/Python 脚本	Snakemake 工作流
依赖管理	手动检查文件存在	自动推导上下游
并行执行	需要自己写并发逻辑	内置多核/集群调度
可复现性	靠文档和记忆	环境+参数+代码打包
断点续跑	需要手动标记	检测已有输出自动跳过
模块化	难以拆分重用	规则可组合、可导入

我记得有次服务器意外重启，100 多个样本跑了 8 小时的任务只差最后一步。普通脚本得全部重来，Snakemake 检测到已有中间文件，只补跑最后一个规则，省了 7 个钟头。

Snakemake vs Makefile：一场跨时代的对比

很多人会问：“这不就是 Makefile 的变种吗？” 嗯，表面相似，但内功完全不同。

语言不同：Makefile 用 GNU Make 语法，Snakemake 用纯 Python。这意味着你可以直接在 Snakefile 里写 for 循环、lambda、调用 Python 库。
隐式依赖：Makefile 依赖时间戳来判断是否重新构建，Snakemake 可以检查文件内容哈希、元数据变更，更可靠。我在做芯片数据分析时，Makefile 经常因为文件修改时间被复制打乱而误重跑，Snakemake 没这坑。
容器与环境：Snakemake 原生支持 Conda 环境、Singularity 容器、Docker。你直接把环境锁定在 Snakefile 里，其他人拉下来就能跑。Makefile 做这件事得额外套一层。
集群支持：Snakemake 可以一键提交到 SLURM、SGE、LSF 等调度系统。我曾经在 HPC 上跑 5000 个任务，只用一行 --cluster "sbatch"，Makefile 要自己写脚本包装。

# Makefile 风格对比
raw.bam: data.fastq
    bwa mem -t 4 ref.fa data.fastq > raw.bam

# Snakemake 等效
rule bwa_mapping:
    input: "data.fastq"
    output: "raw.bam"
    params: ref="ref.fa", threads=4
    shell: "bwa mem -t {threads} {params.ref} {input} > {output}"

你可能会觉得 Snakemake 写法更啰嗦，但它的可读性、可扩展性远超 Makefile。尤其是参数化部分，直接支持 Python 表达式，比如动态线程数、自动前缀。

核心概念速览

先撸清几个关键术语，后面几章会反复用到。

Rule（规则）：最小的执行单元，定义输入、输出、脚本或命令。
Workflow（工作流）：所有规则的集合，Snakemake 自动推导出 DAG（有向无环图）并调度。
Snakefile：定义工作流的 Python 文件，入口文件。
目标文件：你最终想要的结果，Snakemake 从它反向递归寻找依赖。
通配符：用于批量处理多个样本，类似 Makefile 的模式匹配但更灵活。

一句话总结：Snakemake = Python 风格的 Makefile + 自动依赖解析 + 集群友好 + 可复现环境封装。

第一个 Snakefile 示例

光说不练假把式。我们写个真实一点的预处理流程：从压缩的 fastq 文件开始，经过质控、比对、排序，最终生成一个 sorted BAM。

# Snakefile
configfile: "config.yaml"

rule all:
    input: "results/{sample}.sorted.bam"

rule fastqc:
    input: "data/{sample}.fastq.gz"
    output: "results/{sample}_fastqc.html"
    conda: "envs/fastqc.yaml"
    shell: "fastqc -o results/ {input}"

rule bwa_mem:
    input: fastq="data/{sample}.fastq.gz", ref="refs/hg38.fa"
    output: "results/{sample}.sam"
    params: threads=4
    conda: "envs/bwa.yaml"
    shell: "bwa mem -t {params.threads} {input.ref} {input.fastq} > {output}"

rule sort_sam:
    input: "results/{sample}.sam"
    output: "results/{sample}.sorted.bam"
    conda: "envs/samtools.yaml"
    shell: "samtools sort -o {output} {input}"

注意：编写规则时，output 文件路径中的通配符必须与 input 中的对应。我曾经犯过 {sample} 在输入里写成 {sample}，输出里却写成 {sample_name} 导致匹配失败。Snakemake 报错“WildcardError”，排查了半天才发现是名字不一致。

看到这里，你应该能感受到 Snakemake 的优雅：依赖关系由规则自己声明，你不用操心哪个先跑，也不用管中间文件是否被占用。加上 Conda 环境后，整个流程移植到另一台机器只需复制 Snakefile 和 conda 环境文件，就能完全复现。

我的小建议：刚开始用 Snakemake 时，先从单样本的一条规则开始，配合 snakemake -n（干跑）检查执行计划。等逻辑清晰了再上通配符和集群调度。别一上来就写复杂的多维通配符，容易把自己绕进去。

嗯，第一章就到这。你已经知道 Snakemake 是什么、为什么用它、以及和 Makefile 的区别。后面我们一步步搭建标准化预处理流程，从环境配置到模块化设计，都会用实际案例来讲解。