Snakemake 简介与安装

Snakemake 是什么？用一句话说——它是一个 Python 风格的 Make。我自己最早接触它是在一个生物信息学项目里，当时被几百个文件手动串行处理折磨得不行，后来换成 Snakemake，整个流程一次性跑通，那一刻的感觉就像「终于有人懂我了」。嗯，说实话，后来又做特征工程，发现这东西在 ML 场景下也一样好用，所以我想在课程一开始就把它的背景和核心用法给你讲透。

发展历史：从 Make 到 Snakemake

Snakemake 是 2012 年由 Johannes Köster 等人开发的（对，就是后来写那个 STAR 比对工具的同一个人）。它最初是为生物信息学服务的——那个领域文件多、步骤多、依赖复杂，传统的 GNU Make 用起来太痛苦了。Snakemake 把 Make 的规则理念和 Python 语法的灵活性结合了起来，还加入了自动作业调度、容器支持等现代特性。

我记得 2016 年左右，Snakemake 在生信社区几乎变成标配，后来慢慢渗透到数据科学、ML 甚至 DevOps。到如今，它的生态已经相当成熟——支持 SLURM、PBS、SGE 等集群调度器，还能和 Conda、Singularity、Docker 深度集成。说白了，它是一个让「可重现工作流」变得简单的工具。

核心概念——以我自己的理解

Snakemake 最核心的东西其实就几个，我列出来你看看：

概念说明个人碰到的坑
规则一个规则就是一步处理，包含输入、输出、要运行的命令/脚本。我第一次写规则时把 input 和 output 写反了，结果跑了半小时才发现输出文件根本没生成……
输入/输出文件路径，支持通配符和函数动态生成。通配符命名要小心，我曾经用 {sample} 结果拼写不一致导致文件匹配不上。
通配符用 {wildcard} 替换文件名中的可变部分，实现批量处理。默认通配符只能匹配一次，要更灵活的话需要自己写 expand() 函数。
DAG有向无环图，Snakemake 根据输入输出依赖自动构建执行流程。如果你的规则之间有循环依赖，Snakemake 会报错，这时候回头检查逻辑。
配置用 YAML / JSON / 脚本变量指定参数，让流程可配置。我习惯把文件路径、参数、样本列表都放在 config 里，这样换数据集时改配置文件就够了。
环境通过 conda: 或 singularity: 为每条规则指定隔离环境。特征工程经常要不同 Python 包，用 conda 环境隔离特别省心。
Snakemake 会把所有规则组织成一个 DAG，然后按照拓扑顺序执行。如果某个输出文件已经存在且没变化，它会自动跳过——这个“增量计算”特性在特征工程重复迭代时非常有用。

安装与配置

安装 Snakemake 其实就两种主流方式：Conda 和 pip。我个人更推荐 Conda，因为能顺便管理环境依赖。下面是几种安装方法，你自己选一个：

1. 用 Conda（推荐）

conda install -c bioconda -c conda-forge snakemake

如果你像我一样，习惯先创建一个干净的环境：

conda create -n snakemake -c bioconda -c conda-forge snakemake
conda activate snakemake
Bioconda 和 conda-forge 的顺序不要搞反。先写 bioconda 再写 conda-forge，很多包才能正确安装。我以前写反过，结果提示找不到某些依赖，折腾了半天才发现是源顺序问题。

2. 用 pip

pip install snakemake

如果你已经有一个 Python 3.8+ 环境，pip 安装最简单。不过要注意：Snakemake 依赖的某些库（比如 networkx）有版本要求，建议用虚拟环境安装，别污染系统 Python。

3. 用 pipx（适合不想污染环境的情况）

pipx install snakemake

这样 Snakemake 会被安装到一个独立隔离环境，全局可用。我自己的笔记本上就用 pipx，因为它不会和 Jupyter、PyTorch 抢依赖。嗯，你试试看。

4. 验证安装

装好之后，终端里跑一下：

snakemake --version

如果能看到版本号（比如 7.32.4），就算成功了。假设报错，检查 Python 版本是否 ≥3.8，或者看下环境变量 PATH 有没有被正确设置。

千万别在 root 环境下直接 pip install snakemake。我之前在服务器上这么干过一次，结果系统自带的包管理器被搞坏了，运维助教瞪了我三天。老老实实用 venv 或 conda 环境，安全。

Snakemake 工作流的核心逻辑

我觉得最好用一张图来展示 Snakemake 是怎么运转的。下面这张 SVG 图概括了从 Snakefile 定义规则到最终输出文件的完整过程：

Snakemake 工作流核心逻辑 Snakefile 定义规则、依赖、环境 规则集 (Rules) rule A: input → output rule B: input → output rule C: input → output DAG A → B → C (有向无环) 输入文件 raw_data.csv, etc. 配置 key:value YAML / config dict 输出文件 features.parquet, etc. 💡 增量执行 如果某个输出文件已存在且输入没变，Snakemake 会自动跳过该规则，只执行需要更新的部分。

这张图里，Snakefile 定义规则集，规则集通过输入输出依赖形成 DAG，然后 Snakemake 按照 DAG 顺序执行，最后产出所有目标文件。配置文件可以控制参数，输入文件可以批量动态传入——这就是核心工作流的全部逻辑。

验收：写一个最简单的 Snakefile

安装好之后，你可以在一个空目录里创建一个 Snakefile，写入下面这个最小示例：

rule hello:
    output: "hello.txt"
    run:
        with open(output[0], "w") as f:
            f.write("Hello, Snakemake!\n")

然后执行：

snakemake -c1 hello.txt

终端会看到它打印执行日志，并生成 hello.txt。如果文件已经存在，再运行一次它会提示 "nothing to be done"，不会重复执行——这个特性在特征工程迭代时特别爽，改动一小块，自动只重跑受影响的部分。

我建议你试验一下：把 hello.txt 里的内容手动改成别的，再次运行 snakemake，你会发现它又执行了一次。因为文件内容变化导致“文件状态”被识别为已修改，会自动重新生成。

好了，到这一步，Snakemake 你就已经安装好并且跑起来了。接下来在第二章，我们会正式进入特征工程的工作流设计，把数据清洗、特征衍生、筛选这些环节用规则组织起来。你准备好了吗？嗯，我是准备好了。;)

← 上一章 📖 返回目录 下一章 →