1. Snakemake入门：什么是Snakemake，工作流管理系统简介，安装与快速上手

大家好，我是你们的Snakemake老师。今天带大家从0开始，快速上手Snakemake。

什么是Snakemake？说白了，它是一个Python-based的工作流管理系统。你写下数据处理逻辑，它帮你自动调度、自动管理依赖。我最早接触这东西是在做RNA-seq分析的时候，那时候手动跑每一步，简直折磨。后来发现Snakemake，就像发现了新大陆。

我习惯这样理解：Snakemake是一个“自动化流水线指挥官”。你告诉它想要什么结果（比如：处理后的基因表达矩阵），它自己会推导出需要哪些中间文件、调用哪些脚本、依赖哪些工具，然后一条龙跑完。而且它天生支持集群调度，本地跑不动？直接上SLURM。

我记得有一次分析全外显子组数据，100多个样本，手动跑的话，最怕的就是某一步报错，然后前面的都要重来。用了Snakemake之后，它自动跳过已完成的部分，只重跑失败的那些，简直不要太爽。

1.1 工作流管理系统简介

在生物信息学领域，数据处理流程通常很长：质控→比对→排序→变异检测→注释。每一步都会产生中间文件，而且依赖关系复杂。手动管理显然不靠谱。

工作流管理系统就是为了解决这个问题。它做几件事：

• 描述依赖：定义每个步骤的输入输出
• 自动调度：按依赖顺序执行，支持并行
• 可重现：同样的输入、同样的参数，跑出同样的结果
• 环境隔离：每个步骤可以有自己的软件环境

市面上常见的工具有Snakemake、Nextflow、CWL、Airflow。你想想看，做科研数据的人，最需要什么？轻量、灵活、支持HPC。Snakemake在这方面很突出。

工具	语言基础	环境隔离	调度方式	适合场景
Snakemake	Python	Conda/Singularity	本地/集群	生物信息、科研数据
Nextflow	Groovy	Docker/Singularity	本地/集群	生物信息、多语言数据
CWL	YAML/JSON	Docker	本地/集群	标准化工作流
Airflow	Python	Docker	集群/云	ETL、运维任务

Snakemake的优势在于：你只要会写Python，就能上手。它的语法简单，但功能强大。

1.2 Snakemake的核心概念

我们先来搭个框架，后面才讲得细。

• 规则（Rule）：Snakemake的原子单元。一个规则定义一项任务：输入文件、输出文件、要执行的命令或脚本。比如：rule fastqc，输入是sample.fastq，输出是sample_fastqc.html，命令是跑FastQC。
• 通配符（Wildcards）：用来把规则泛化到多个样本。比如{sample}.fastq，Snakemake会自动匹配不同的样本名。我第一次用这个功能的时候，感觉神奇得很。一个规则，管所有样本。
• 目标（Target）：你最终想要的文件。Snakemake从目标反向推导，找到所有需要执行的规则，形成有向无环图。
• 环境（Environment）：每个规则可以指定自己的Conda环境或容器镜像。这一点在我做跨项目分析时帮了大忙，再也不用担心依赖冲突。

1.3 安装Snakemake

安装其实很简单。我建议用Conda，避免依赖冲突。以下两种方式都靠谱：

# 方式一：用pip安装（推荐先装Conda环境）
pip install snakemake

# 方式二：用conda安装（我的个人习惯，隔离得最干净）
conda install -c bioconda -c conda-forge snakemake

安装完成后，验证一下：

snakemake --version

如果出现版本号，说明装好了。我一般也会顺手装一个snakemake-minimal，它去掉了一些不常用的功能，体积更小。你在服务器上部署时可以考虑。

1.4 快速上手：写第一个Snakefile

Snakemake的精髓就在Snakefile。它类似于Makefile，但用Python语法。来，我们写一个。

先创建一个目录，比如snakemake_demo，里面建一个Snakefile文件。内容如下：

rule all:
    input:
        "report.html"

rule process_data:
    input:
        "raw_data.txt"
    output:
        "processed_data.txt"
    shell:
        "cat {input} > {output}"

rule generate_report:
    input:
        "processed_data.txt"
    output:
        "report.html"
    shell:
        "echo 'Result is ready.' > {output}"

这段代码什么意思？

• rule all是默认目标，告诉Snakemake最后要生成report.html
• rule process_data：读入raw_data.txt，输出processed_data.txt
• rule generate_report：读入processed_data.txt，输出report.html

现在在目录下创建一个raw_data.txt，随便写点内容。然后执行：

snakemake -n   # 预览，不实际执行
snakemake      # 实际执行

你看，Snakemake会自动推导出执行顺序：先跑process_data，再跑generate_report。因为它是一个有向无环图，从最终目标反向推导出来。

我以前有个习惯，第一次跑新项目总是先用-n预览，确认依赖关系和执行顺序无误。这个习惯让我少踩了好多坑。

1.5 实际运行结果演示

执行成功后，终端输出是这样的：

Building DAG of jobs...
Using shell: /bin/bash
Provided cores: 1
Rules claiming more threads will be scaled down.
Job stats:
job               count    min threads    max threads
--------------    -----    -------------    -------------
process_data           1              1              1
generate_report        1              1              1
total                  2              1              1

Select jobs to execute...
[Sun Apr 13 10:00:00 2025]
rule process_data:
    input: raw_data.txt
    output: processed_data.txt
    jobid: 1
    reason: Missing output files: processed_data.txt
    resources: tmpdir=/tmp

[Sun Apr 13 10:00:01 2025]
Finished job 1.

[Sun Apr 13 10:00:01 2025]
rule generate_report:
    input: processed_data.txt
    output: report.html
    jobid: 0
    reason: Missing output files: report.html
    resources: tmpdir=/tmp

[Sun Apr 13 10:00:01 2025]
Finished job 0.

[Sun Apr 13 10:00:01 2025]
1 of 1 steps (100%) done

清晰明了。哪一步在跑、输入输出是什么、耗时多长，都在屏幕上。

1.6 常见问题与避坑指南

• 规则没有输出文件：Snakemake会报错。每条规则必须有明确的输出。
• 通配符不匹配：比如你写了{sample}_1.fastq，但实际文件是sample1_R1.fastq，Snakemake找不到。命名一致性很重要。我吃过这个亏，后来统一了所有项目的文件命名规则。
• 依赖环境缺失：如果规则里用到软件，最好用Conda环境或容器，否则换个机器就崩了。
• 路径问题：Snakemake默认在工作目录下执行。如果你用cd来切换目录，小心路径错误。

好了，关于Snakemake入门，我们先聊这么多。核心就是：规则、依赖、自动调度。你写一个Snakefile，就能描述整个工作流。后面的章节，我们会深入规则语法、配置管理、集群调度等。

先动手试一下吧，从你的第一个Snakefile开始。