📚 课程目录第1章 Snakemake简介与核心概念

Snakemake 是什么？我为什么离不开它？

先聊聊 Snakemake。说白了，它就是一个 工作流管理工具。做生信的人，每天要处理一堆脚本：先比对，再排序，然后去重、变异检测……要是每一步都手动敲命令，别说效率了，出错都能让你崩溃。

我第一次接触 Snakemake 时，是在一个全基因组分析项目里。当时要处理 200 个样本，每个样本跑 4 步分析。手动操作？别开玩笑了。我用 Shell 脚本串起来，结果一个样本的中间文件坏了，整个流程就得重跑。那叫一个痛苦。

后来我换成 Snakemake。它帮我把流程写成 Snakefile，自动处理依赖关系、并行任务、断点续跑。我只管定义规则，剩下的交给它。嗯，这里要提一句：Snakemake 的核心就是「规则」。每条规则描述一个步骤：输入什么、输出什么、执行什么命令。

我的体会： 如果你写过 Makefile，Snakemake 会让你觉得亲切。它的语法就是 Python 版的 Makefile，简单直接。

规则 (Rule) —— 工作流的最小单元

什么是规则？我举个例子。你有一条比对规则：输入是 FASTQ 文件，输出是 BAM 文件，命令是 bwa mem。写成 Snakefile 就长这样：

rule bwa_alignment:
    input:
        "sample_{sample}.fastq.gz"
    output:
        "sample_{sample}.bam"
    shell:
        "bwa mem ref.fa {input} > {output}"

看到没？input 和 output 定义了数据的流向，shell 就是你要跑的命令。Snakemake 会自动帮你判断：如果输出文件已经存在，这条规则就不执行。这就是 增量计算 的妙处。

我在项目中遇到过这样的情况：跑了半天流程，发现前面的参数错了。如果用的是普通 Shell 脚本，得找到那个出错的步骤，手动删掉输出文件，重跑。用 Snakemake？简单。删掉那个步骤的输出文件，重新执行，它只会重跑那一步。其他已完成的步骤，不动。

  一个避坑点： 规则的名字不能重复，输入输出路径必须写对。我曾经犯过一个低级错误：把输出写成了输入路径，结果 Snakemake 一直报错说找不到文件。后来看了半小时日志才发现。

通配符 (Wildcards) —— 让规则动起来

刚才的规则里有个 {sample}，这就是 通配符。它让一条规则能匹配多个样本。你想想看，如果有 200 个样本，难道要写 200 条规则吗？当然不。

Snakemake 会从最终的输出文件反推，自动解析通配符的值。比如你要求 final_results.txt 依赖 sample_A.bam、sample_B.bam，它就知道 {sample} 是 A 和 B。

rule process_sample:
    input:
        "sample_{sample}.bam"
    output:
        "sample_{sample}.sorted.bam"
    shell:
        "samtools sort {input} -o {output}"

这个规则只要定义一次，Snakemake 就会为每个样本生成独立的任务。并行执行？它自动调多线程。单机不够？它还能提交到集群。

注意： 通配符的名字必须一致。比如输入用的是 {sample}，输出也得用 {sample}。名字对不上，Snakemake 会报错。别问我怎么知道的……

配置文件 (Config) —— 把参数抽出来

实际项目中，参数一变就得改 Snakefile？太蠢了。Snakemake 支持 YAML 配置文件：

# config.yaml
samples:
  - A
  - B
  - C
reference: "/data/ref/hg38.fa"
threads: 8

然后在 Snakefile 里用 config 对象读取：

configfile: "config.yaml"

rule align:
    input:
        ref=config["reference"],
        reads="sample_{sample}.fastq.gz"
    output:
        "sample_{sample}.bam"
    params:
        threads=config["threads"]
    shell:
        "bwa mem -t {params.threads} {input.ref} {input.reads} > {output}"

这样改参数只改 YAML 文件，不动 Snakefile。我个人的习惯是，把样本列表、参考基因组路径、线程数全部放在配置里。团队成员一看就懂，不用翻代码。

输入输出与自动推导

Snakemake 最让我觉得爽的是它的 自动依赖推导。你只需要定义好每条规则的输入输出，然后指定最终的目标文件。它会自动构建出整个依赖图。

比如：

rule all:
    input:
        expand("sample_{sample}.sorted.bam", sample=["A", "B"])

Snakemake 就知道最终要生成 sample_A.sorted.bam 和 sample_B.sorted.bam。然后它查找哪个规则能生成这种文件，找到 process_sample，发现它需要 sample_{sample}.bam，再去找生产 .bam 的规则，直到所有输入都准备好。

这个过程就像搭积木。每个规则是一个积木块，Snakemake 自动拼接。中间文件不用你管，它自动管理。

日志与约束

Snakemake 还支持 日志文件 和 资源约束。举个例子：

rule align:
    input:
        "sample_{sample}.fastq.gz"
    output:
        "sample_{sample}.bam"
    log:
        "logs/{sample}.log"
    threads: 8
    resources:
        mem_mb=16000
    shell:
        "bwa mem -t {threads} ref.fa {input} 2> {log} > {output}"

日志单独存，方便排查。资源约束可以让任务调度器合理分配 CPU 和内存。我以前跑集群时，没设置资源约束，结果 CPU 抢占导致整个节点卡死。后来加上 resources，再也没有出过问题。

  一句话： Snakemake 用规则定义流程，用通配符实现批量，用配置解耦参数，用自动推导解决依赖。它不是为了炫技，就是为了让你少掉头发。

核心概念关系图

我把 Snakemake 的核心概念串在一起，画个图。你一看就能明白它们之间怎么协作。

从图里能看到：规则是核心，输入输出定义数据流，通配符让规则通用化，配置文件解耦参数，依赖推导自动化。日志和资源约束则让流程更健壮。

Snakemake 与 Makefile 的直观对比

如果你用过 Makefile，可以快速感知差异：

对比维度	Makefile	Snakemake
语法基础	Shell + Make 语法	Python 语法
通配符	`%` 模式匹配	`{wildcard}` 命名通配符
配置文件	无原生支持	YAML / JSON / 内嵌 Python
集群支持	需手动编写提交脚本	内置 `--cluster` / `--profile`
日志管理	手动重定向	原生日志指令
资源约束	无	threads / resources
依赖推导	基于时间戳	基于文件名模式 + 自动解析

看到没？Snakemake 不是 Makefile 的简单复制。它在生信工作流上做了大量针对性设计。我个人的感受是：如果你还在用 Makefile 管流程，赶紧换。Snakemake 会让你省一半的时间。

小结一下

Snakemake 不复杂，核心就这几个东西：

规则 —— 每个步骤的定义
输入/输出 —— 数据流向
通配符 —— 批量处理
配置文件 —— 参数管理
自动依赖 —— 省心省力
日志/约束 —— 生产环境必备