四、Nextflow 基础：DSL2 语法、进程定义、通道概念

从 Snakemake 切到 Nextflow，第一感觉就是「怎么这么多新名词？」。DSL2、进程、通道……别急，我今天就把这几个核心概念掰开了讲。你弄懂了它们，后面跑 pipeline 就跟玩一样。

我个人习惯先把 DSL2 的定位说清楚：它不是什么新语言，而是 Nextflow 在 2020 年推出的第二代领域特定语言。说白了，就是让你写 pipeline 更简洁、更模块化。我当年在项目里从 DSL1 迁移到 DSL2，代码量直接砍掉了 30%，而且进程复用性高了很多。

DSL2 语法 —— 三句话讲清楚

DSL2 最核心的变化就三个：工作流定义、进程独立、通道显式声明。我画张图你瞬间就懂了。

DSL2 核心概念关系 workflow { ... } process FASTQC process TRIM process ALIGN Channel reads Channel trimmed 虚线箭头表示隐式数据流 通道自动连接进程输出-输入

你看，workflow 块负责编排，process 只关心自己的输入输出，Channel 就是数据管道。三者各司其职，非常清晰。

那 DSL2 语法长什么样？一个最小工作流是这样：

nextflow.enable.dsl=2

process SAY_HELLO {
    output:
    path "hello.txt"
    script:
    """
    echo "Hello from Nextflow" > hello.txt
    """
}

workflow {
    SAY_HELLO()
    // 等价于 SAY_HELLO() | Channel.result.view()
}

注意那个 nextflow.enable.dsl=2，必须放在文件最前面。我踩过坑：第一次写忘了加，结果报错说找不到 workflow 关键字。嗯，这个坑你记住就行。

小技巧：DSL2 的 workDir 默认仍然使用 work/ 目录。我个人喜欢在 nextflow.config 里加上 process.scratch = true，防止中间文件污染本地存储。

进程定义 —— 比你想的更灵活

进程（process）是 Nextflow 的最小执行单元。每个进程可以定义 input、output、script、以及运行时资源。我建议你把它想象成一个带壳的 shell 脚本，壳就是进程的声明式定义。

举个例子，我们做一个读文件的行数统计进程：

process COUNT_LINES {
    input:
    path input_file

    output:
    stdout

    script:
    """
    wc -l "$input_file"
    """
}

input 和 output 的声明很讲究。你想想看，如果只有输入文件，没有显式声明输出，Nextflow 会认为这个进程没有副产品，后面就接不了别的进程。我早期写 pipeline，经常漏写 output，结果下游进程收不到数据，排查半天。

除了 path，Nextflow 还支持 val（传值）、env（环境变量）等输入类型。我常用的一个模式是配合 each 做参数遍历：

process PARAM_SWEEP {
    input:
    val param_value from param_ch

    output:
    path "result_${param_value}.txt"

    script:
    """
    echo "Running with param=$param_value" > result_${param_value}.txt
    """
}

这里的 from param_ch 就是从通道里接收多个值，每个值启动一个任务。这在网格搜索、超参调优场景下特别好用。

注意：进程定义里千万不要在 script 块中写绝对路径依赖。我曾经在生产环境配置了 singularity 容器，结果在本地测试时忘记改 process.container，跑出来的结果全是空文件。建议用 conda 或 docker 来管理环境，把路径问题隔离掉。

通道概念 —— 数据的隐形管道

通道（Channel）是 Nextflow 数据流的血液。它可以是队列（queue）类型，也可以是值（value）类型。说白了就是两种：一种是存一条数据，可以反复读；另一种是存一堆数据，只能消费一次。

先看值通道：

ch_greeting = Channel.value("Hello")
ch_greeting.view()  // 输出 Hello
ch_greeting.view()  // 还能再输出 Hello

再看队列通道：

ch_numbers = Channel.from(1, 2, 3)
ch_numbers.view()  // 输出 1 2 3
ch_numbers.view()  // 啥也不输出，因为已经被消费了

理解这个区别很重要。我在第一次写多进程管道时，把一个 Channel.value 当队列用了，结果下游进程只处理了一次，后面的任务全被阻塞。排查了两天才发现是通道类型选错了。

通道最常见的用法是连接进程：一个进程的 output 会自动创建队列通道，供下一个进程的 input 消费。比如：

process SPLIT {
    output:
    path "chunk_*" into chunks_ch

    script:
    """
    split -l 100 bigfile.txt chunk_
    """
}

process ANALYZE {
    input:
    path chunk from chunks_ch

    script:
    """
    python analyze.py $chunk
    """
}

留意 into chunks_ch 这个语法，它显式地把输出通道命名了，方便下游引用。如果不写 into，Nextflow 会默认以进程名+数字做通道名，但可读性差很多。我个人习惯所有输出都加上 into，除非这个进程是终点。

DSL1 与 DSL2 对比

有些老项目还在用 DSL1，但你既然学新东西，直接上 DSL2 就行。我把关键差异整理成表：

特性 DSL1 DSL2
工作流定义 隐式，靠 from/into 拼凑 显式 workflow { } 块，调用进程像函数
进程复用 需拷贝整个进程 可封装成模块，用 include 导入
通道类型 只有队列通道 值通道 + 队列通道，更灵活
错误处理 手动 try-catch 或 errorStrategy 内置 errorStrategy 更完善，支持重试次数
推荐程度 仅用于维护旧代码 新项目首选

从这张表你能看出，DSL2 在可维护性和模块化上领先一大截。我在公司推行新 pipeline 时，直接规定所有新脚本必须用 DSL2，拒绝历史包袱。

避坑指南 & 实战心得

我曾经犯过的错（你千万别犯）

  • 通道合并忘加逗号：Channel.from(1, 2, 3) 是对的，Channel.from(1 2 3) 会报解析错误。Nextflow 对空格特别敏感。
  • 进程输出文件名冲突：多个进程的输出同名文件会被覆盖。建议在输出路径里加 ${task.index} 或其他唯一标识。
  • 忘记设置 process.cache 策略：默认是 lenient，如果任务失败重新跑，缓存可能导致跳过。我一般设 process.cache = 'deep'。

回顾一下，DSL2 语法让工作流变得像函数式编程：进程是纯函数，通道是惰性列表，workflow 是组合器。你只要把输入输出接口定义清楚，剩下的数据流交给 Nextflow 自动调度。这个思路和 Snakemake 的规则链完全不同，但适应后你会觉得它更符合直觉。

好了，以上就是 Nextflow 基础三件套。下个章节我们会用它写一个实际的 RNA-seq 流程，到时候你会看到这些概念如何落地的。

← 上一章 📖 返回目录 下一章 →