📚 课程目录第1章 Snakemake简介

一、Snakemake简介：把你的分析流程变成“自动流水线”

1.1 工作流管理工具——它到底解决了什么问题？

我们做生信分析的人，谁还没写过几十个shell脚本串起来的流程呢？坦白讲，我早期做RNA-seq分析时，就是一个脚本接着一个脚本地跑。今天跑完比对，明天跑定量，中间要是哪个样本报错了，还得手动去查日志、改参数、重新提交。你有没有遇到过类似的情况？

工作流管理工具，说白了就是帮你把这些步骤“管起来”的软件。它要干三件事：

自动调度：哪个任务先跑，哪个后跑，你不用操心了。
依赖管理：知道每个步骤需要什么输入、产生什么输出。
断点续跑：今天跑一半断了，明天接着来，不会从头再来。

我个人觉得，这三个能力对于一个稍微复杂点的分析流程来说，几乎是刚需。我在项目中遇到过最痛苦的一次——一个全基因组分析跑了两天，服务器半夜挂了。如果没有工作流管理工具，你得手动检查哪些文件已经生成，哪些还需要重新跑。那感觉，你想都想得到。

现在市面上的工作流工具有很多，比如Nextflow、CWL、WDL。Snakemake是其中相当友好、学习曲线最平缓的一个。嗯，这也是我为什么选择它来讲这门课的原因。

1.2 Snakemake的设计哲学——规则，而非脚本

Snakemake的核心设计理念用一个词就能概括：“规则驱动”。

你不需要写一个长长的shell脚本，而是把流程拆成一个个独立的规则（rule）。每个规则定义三样东西：

输入文件：需要什么才能开始工作？
输出文件：这步结束后会生成什么？
执行的命令：用什么工具、参数去做？

举个例子，我们做一个简单的质控流程：

rule fastqc:
    input:
        "data/{sample}.fastq.gz"
    output:
        "results/fastqc/{sample}_fastqc.html"
    shell:
        "fastqc {input} -o results/fastqc/"

看到那个 {sample} 了吗？这就是Snakemake最亮眼的特性——通配符（wildcards）。它能自动把你的规则应用到所有样本上，而不需要你写循环。

我个人习惯这样理解规则：每个规则就像工厂里的一台机器，你把原材料（输入）放进去，它吐出成品（输出）。Snakemake是那个负责传料的机器人，它知道哪个机器该先开，哪个后开。

1.3 与传统shell脚本的对比——为什么我们需要换一个思路？

咱们来做个对比，你看完就明白了。

对比维度	传统shell脚本	Snakemake工作流
流程表达	按行顺序执行	规则声明式定义
依赖管理	靠人工编排	自动解析输入输出
断点续跑	需要手动重跑	根据文件是否生成自动跳过
并行执行	容易乱套	自动调度多核/集群
可追溯性	日志分散	内置日志和报告
错误处理	遇到错误直接退	可以自动重试、报错保留现场

你想想看，一个典型的shell脚本流程大概长这样：

#!/bin/bash
# 质控流程——手工版
for sample in sample1 sample2 sample3; do
    fastqc data/${sample}.fastq.gz -o results/fastqc/
    cutadapt -a AGATCGGAAGAGC -o results/trimmed/${sample}_trimmed.fastq.gz data/${sample}.fastq.gz
    fastq_screen --aligner bowtie2 --conf config/fastq_screen.conf --outdir results/fastq_screen/ results/trimmed/${sample}_trimmed.fastq.gz
done
echo "所有分析完成"

这个脚本有什么毛病？

如果第三个样本的cutadapt失败了，后面的样本也跟着受影响吗？其实不会，但脚本会直接退出。
你想并行跑三个样本？得自己写 & 和 wait 控制，一不留神就炸了。
跑完后哪个样本出错了？你得翻log文件，一个个对。

同样的流程用Snakemake来写：

rule all:
    input:
        expand("results/fastq_screen/{sample}_screen.txt", sample=["sample1","sample2","sample3"])

rule fastqc:
    input:
        "data/{sample}.fastq.gz"
    output:
        "results/fastqc/{sample}_fastqc.html"
    shell:
        "fastqc {input} -o results/fastqc/"

rule cutadapt:
    input:
        "data/{sample}.fastq.gz"
    output:
        "results/trimmed/{sample}_trimmed.fastq.gz"
    params:
        adapter="AGATCGGAAGAGC"
    shell:
        "cutadapt -a {params.adapter} -o {output} {input}"

rule fastq_screen:
    input:
        "results/trimmed/{sample}_trimmed.fastq.gz"
    output:
        "results/fastq_screen/{sample}_screen.txt"
    params:
        config="config/fastq_screen.conf"
    shell:
        "fastq_screen --aligner bowtie2 --conf {params.config} --outdir results/fastq_screen/ {input}"

看到区别了吗？Snakemake版本里，每个规则是独立的、可复用的。规则之间的依赖关系不再靠你“写顺序”，而是通过输入输出文件自动建立。你想跑全流程，只需要指定最终想要的输出文件——rule all 就是干这个的。

我曾经犯过一个低级错误：在shell脚本里把样本名写死，导致加一个新样本时改了好几个地方。Snakemake的通配符机制彻底解决了这个问题——你只需要维护一份样本列表，剩下的都交给Snakemake去匹配。

1.4 一张图看懂：Snakemake是如何工作的？

1.5 为什么是Snakemake？——我选它的三个理由

你可能会问：工具那么多，为什么偏偏选Snakemake来学？

门槛低：它基于Python，你甚至不需要很懂Python语法，几分钟就能写一个规则。我见过完全没有编程背景的同事，第二天就能上手写流程。
可扩展强：从单机到集群，从几个样本到几千个样本，Snakemake都能应对。你不需要换工具，只需要改配置文件。
可读性好：规则格式清晰，别人看你的Snakemake文件，一眼就知道流程是怎么跑的。这对于团队合作来说太重要了。

我的建议是：别纠结于学哪个工具，先上手一个能解决你眼前痛点的。Snakemake就是这样——它不会让你在入门阶段就遇到太多障碍。

好了，这一章我们从“为什么要用工作流管理工具”开始，了解了Snakemake的设计理念，也看到了它和传统shell脚本的差异。下一章我们要真刀真枪地装环境了。不过在那之前，我建议你可以先翻一翻Snakemake的官方文档，看看它长什么样。

嗯，就说这么多。咱们下章见。