📚 课程目录第1章 Nextflow简介与安装

我做了这么多年生物信息分析，换过好几个工作流框架。以前做药物靶点筛选，流程一复杂就头疼——脚本满天飞，中间结果胡乱放，换个人来根本跑不通。直到我在一个大型多组学项目里用了 Nextflow……嗯，这工具确实改变了我写管线的习惯。

1. Nextflow 简介与安装

你想想看，做药物靶点研究，从 GWAS 的 SNP 筛选，到 转录组 的表达差异分析，再到 蛋白‑蛋白互作网络 构建……一个完整的靶点发现管线少说十几步，每步用的软件、参数、参考数据全不一样。要是没有统一的管理工具，别说别人看不懂，两个月后你自己都忘了当初怎么跑的。

Nextflow 就是来解决这个问题的。它让管线像搭积木一样清晰，而且能自动在本地、集群、云端跑来跑去。我个人习惯是 一个 Nextflow 管线 = 一个 main.nf + 一个 nextflow.config，版本控制也好做，合作者只要装个 Nextflow 就能复现。

1.1 发展历史

Nextflow 最早是 2013 年由意大利的 CRG (Centre for Genomic Regulation) 团队开发的。创始人 Paolo Di Tommaso 当时正被各种工作流管理器的痛点困扰——要么依赖图形界面（老板用着爽，但没法自动化和版本控制），要么脚本太死板（换一个集群就得重写执行脚本）。

年份	关键事件
2013	Paolo 在 GitHub 发布了第一个版本，用 Groovy 作为 DSL
2016	引入 DSL2 核心模块，支持更灵活的 process 定义
2018	推出 nf-core 社区，开始有社区维护的标准化管线
2020	DSL2 成为默认语法，支持 `workflow` 块和模块化
2023	Nextflow 23.04 版本，深度优化 AWS/Google Cloud 执行

我个人最早接触是 2017 年，当时项目要跑数千个 RNA‑seq 样本的差异表达分析。用传统的 SnakeMake 写到一半发现参数传递实在太烦了，临时换成 Nextflow。哇，一个 Channel.fromFilePairs 就把文件配对搞定，配合 PublishDir 自动整理结果，瞬间感觉从“写脚本”变成了“搭积木”。

1.2 核心设计理念

Nextflow 的设计哲学其实就三句话：数据流驱动、容器化、可重复执行。咱们拆开看。

数据流驱动：你不用理解什么 DAG 调度器，只要定义好数据从哪来、经过哪些处理、最后去哪。Nextflow 会自动构建依赖图，并行度最大化。
容器原生支持：每个 process 都可以指定 Docker/Singularity 镜像。这样一来，软件版本、库依赖全封装在一个容器里，跑在别人的集群上也不会报“缺少某某库”。
天然并行与可扩展：同样的管线，你在笔记本上跑 2 个任务是顺序的；丢到一个 200 节点的 HPC 集群，它会自动把每个任务独立提交，几乎线性加速。
声明式语法 (DSL2)：用 workflow 块直接说“第一步做什么、第二步做什么”，而不是用 rule 或者 make 那种隐式依赖。代码即文档，别人一看就懂。

举个例子，一个经典的双样本比对流程：

process ALIGN {
    input:
    path reads

    output:
    path "aligned.bam"
    
    script:
    """
    bwa mem ref.fa $reads | samtools sort -o aligned.bam
    """
}

workflow {
    Channel.fromPath("*.fastq.gz") | ALIGN
}

看到没？输入是一个通道，输出又一个通道，管线用管道操作符 | 串起来。这就是数据流驱动的直观体现。我曾经在一个组学项目中，把原有 20 多个 process 重新梳理成 DSL2 模块，整个管线文件缩小到原来的一半，而且每个模块都可以单独测试。

Tip: 如果你刚接触 DSL2，建议把每个 process 当作一个“黑箱”：只关心输入类型和输出类型，内部逻辑完全隔离。这样后期替换某个分析工具时，只需要改 script 部分，其他流程不变。

1.3 安装与环境配置

Nextflow 的安装可能是你最轻松的一步。它本质上是一个 Java 包，不需要系统根权限，也不需要复杂的依赖管理。

前提要求

Java 11+（推荐 OpenJDK 11 或 17）
bash 3.2+（macOS/Linux 默认都满足）
Git（可选，但强烈推荐用来拉取社区管线）

检验 Java 版本：

java -version
# 应显示类似 openjdk version "11.0.18" 或更高

如果没有 Java：

# Ubuntu/Debian
sudo apt update && sudo apt install openjdk-11-jdk

# CentOS/RHEL
sudo yum install java-11-openjdk

# macOS (Homebrew)
brew install openjdk@11

安装 Nextflow

最简洁的方式就是下载安装脚本：

curl -s https://get.nextflow.io | bash

运行后会在当前目录生成一个 nextflow 可执行文件。你也可以把它放到系统 PATH 里：

# 移动到 /usr/local/bin（需要 sudo）
sudo mv nextflow /usr/local/bin/

# 或者加到你的 ~/bin 目录并 export PATH
mkdir -p ~/bin
mv nextflow ~/bin/
echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

环境变量推荐配置

我个人习惯设置下面几个变量，能显著提升使用体验：

# 指定工作目录，避免 /tmp 空间不足
export NXF_HOME=$HOME/.nextflow

# 设置容器引擎优先级（如果你同时有 Docker 和 Singularity）
export NXF_CONTAINER_ENGINE=singularity

# 设置临时目录（大型中间文件建议定向到高速磁盘）
export NXF_TEMP=/path/to/scratch

# 设置默认配置路径（以后所有管线自动加载这个配置）
export NXF_CONFIG=$HOME/.nextflow/global.config

把这些加到 ~/.bashrc 或 ~/.zshrc 里，重启终端就生效了。

曾经我帮同事调试一条复杂的长非编码 RNA 流程，发现每次运行到第 15 步就报“磁盘空间不足”。查了半天，原因是默认 $NXF_TEMP 指向 /tmp，而 /tmp 只有 2GB。后来改成 /mnt/data/scratch 就再也没出过问题。所以，我强烈建议你在开始写正式管线前，先把临时目录配好。

验证安装

nextflow run hello
# 应该输出类似：
N E X T F L O W  ~  version 24.04.0
Launching `hello.nf` [dreamy_payne] DSL2 - revision: e6e739d366
    ola world!
   
   Ciao world!

如果你看到不同语言的“你好，世界”，那恭喜你——Nextflow 装好了。

本章知识体系速览

图中你看，数据从 数据通道 流入 Nextflow 引擎，引擎把任务分配给具体的 Process，处理结果又通过 输出通道 返回。整个过程中，引擎可以对接本地、HPC、云端的 执行器。这就是 Nextflow 最核心的设计——把“数据流动”和“计算资源调度”解耦。