1. Nextflow 简介与安装

各位好。咱们这门课叫《Nextflow config多环境配置详解》，第一件事，当然得搞清楚 Nextflow 是什么玩意儿，它能干什么，以及怎么把它装到你机器上。

我先说说我自己的背景。我最早是做生物信息出身，后来又搞了好几年 DevOps。说实话，第一次看到 Nextflow 的时候，我心想，“这不就是个带调度器的脚本运行器吗？” 但真用起来，才发现它远不止这么简单。

Nextflow 是什么？

Nextflow 是一个工作流管理系统。说白了，它帮你把一个个零散的脚本、命令、任务串联起来，变成一个自动化流水线。

你想想看，以往我们跑一个分析流程，是不是经常这样干：先手动跑 A 命令，等它结束，再跑 B 命令，中间还得人工检查日志、转移中间文件。烦不烦？ 而且一旦换台机器，或者换个云平台，环境配置又得折腾半天。

Nextflow 就是来解决这个问题的。它基于 数据流编程 模型。核心概念有几个：

• Process：一个独立的任务单元，可以是一条命令、一个脚本、甚至一个 Docker 容器。
• Channel：数据通道。负责在 Process 之间传递文件、参数、值。有点像 Unix 的 pipe，但功能强得多。
• Workflow：把 Process 和 Channel 串起来，定义整个流程的执行逻辑。
• Config：这就是咱们这门课的重头戏。它负责定义流程的运行时环境、计算资源、容器引擎、中间件等等。

我个人觉得，它最像“流水线”这个概念——每个工位（Process）负责一道工序，传送带（Channel）把半成品传过去，最后产出成品。

应用场景

搞懂了 Nextflow 是什么，咱们看看它最常被用在哪儿。

• 生物信息学 & 基因组学分析：这是 Nextflow 的大本营。从测序数据质控、比对、变异检测，到 RNA-seq、单细胞分析，各种工具拼在一起。我记得 2018 年帮一个生信团队搭流程，他们原来用 shell 脚本串联十多个工具，一出错就得从头排查。换成 Nextflow 后，失败任务自动重试，中间结果自动缓存，效率提升太明显了。
• 大规模数据处理与机器学习：尤其是需要并行处理海量文件或样本的场景。比如用 Nextflow + AWS Batch 在几千个 CPU 上同时跑特征提取或者模型训练。
• 容器化流水线：Nextflow 原生支持 Docker、Singularity、Podman 等容器。你的流程可以打包成标准容器，完美避开环境依赖冲突 —— 这个我后面会重点聊。
• 多云/混合云部署：你可以轻松地把同一个流程从本地开发机，滑到内部 HPC 集群，再滑到公有云上。

安装方法

嗯，这里要注意。Nextflow 的安装方式有好几种，我按推荐程度排个序。

方式一：使用 Conda / Mamba (推荐新手)

我个人其实更推荐用 Conda，因为它能帮你把 Java 运行时环境和 Nextflow 一起装好，省得你再去折腾 JDK 版本问题。我之前在一个项目中没注意 Java 版本，结果 Nextflow 启动报错，排查了半天才发现是 Java 11 升级到 17 的坑。

# 创建一个新环境，避免污染 base 环境
conda create -n nextflow_env -c bioconda nextflow

# 或者用 Mamba，速度更快
mamba create -n nextflow_env -c bioconda nextflow

安装完成后，激活环境：

conda activate nextflow_env

方式二：自行下载安装脚本 (推荐老手/服务器)

这种办法比较简单粗暴，适合已经装了 Java 8/11 的环境。官方提供了一个安装脚本，一行命令搞定。

# 下载安装脚本
curl -s https://get.nextflow.io | bash

# 或者用 wget
wget -qO- https://get.nextflow.io | bash

执行完后，当前目录下会多出一个 nextflow 可执行文件。记得把它加到你的 PATH 里：

# 假设下载到 ~/bin/ 目录
mv nextflow ~/bin/
export PATH="$HOME/bin:$PATH"

验证一下：

nextflow info

如果看到类似下面的输出，说明安装成功：

  Version: 24.10.0 build 5928
  Created: 2024-10-28T13:23:39Z
  Runtime: Groovy 4.0.21 on Java 17.0.9

方式三：使用 Homebrew (macOS 用户专用)

如果你用的是 macOS，并且习惯用 brew，那最简单：

brew install nextflow

这个方式比较省心，但不一定拿到最新版，有时会落后一两个小版本。

环境要求速查表

我把安装 Nextflow 的前提条件整理成一个表格，方便你对照检查。

组件	版本要求	说明
Java Runtime (JRE)	≥ 8 (推荐 11 或 17)	Nextflow 基于 JVM 运行，没有 Java 装不了。旧版 Java 8 虽然能跑，但我遇到过一些新功能报错，建议至少用 Java 11。
操作系统	Linux / macOS / Windows (WSL2)	原生 Windows 我没成功过。我建议在 Windows 上用 WSL2 或者 Docker 跑。
网络	需要能够访问 GitHub (用于下载模块/插件)	部分企业内网可能需要配置代理，后面会讲。

快速验证：跑一个 Hello World

装好了？ 咱们快速验证一下。创建一个文件 hello.nf：

#!/usr/bin/env nextflow

process sayHello {
    script:
    """
    echo 'Hello, Nextflow!'
    """
}

workflow {
    sayHello()
}

然后执行：

nextflow run hello.nf

你应该能看到类似这样的输出：

N E X T F L O W  ~  version 24.10.0
Launching `hello.nf` [awesome_curie] DSL2 - revision: d3a2b1c0e1
executor >  local (1)
[d8/f1a2b3] process > sayHello [100%] 1 of 1 ✔

如果看到 [100%] 1 of 1 ✔ 这个标记，恭喜你，Nextflow 环境已经搭好了。