📚 课程目录第3章进程参数定义与作用域

3、进程参数定义与作用域：process指令、标签、资源分配参数

说实话，进程参数配置是Nextflow里最容易让人犯糊涂的地方之一。我记得刚学Nextflow那会儿，总觉得把所有参数都堆在process里就行，结果一跑就爆内存，或者任务死在不该死的地方。后来踩的坑多了，慢慢才摸清里面的门道。

进程参数说白了就三块：指令本身、标签、资源分配。这三样东西决定了你的任务怎么跑、跑在哪、能跑多快。咱们今天一条一条说清楚。

3.1 process指令：进程的骨架

每个process里都有一堆指令。这些指令控制着进程的行为。我习惯把它们分成两类：必需类和装饰类。

看个典型的process长什么样：

process ALIGN_READS {
    executor 'slurm'
    queue 'short'
    cpus 4
    memory '16 GB'
    time '2h'

    label 'align_high_mem'

    input:
    path reads

    output:
    path 'aligned.bam'

    script:
    """
    bwa mem -t ${task.cpus} reference.fa $reads > aligned.bam
    """
}

这里面executor、queue、cpus都是指令。每个指令都有自己的作用范围。有的只影响当前进程，有的会传播到子进程。

常见的process指令，我列个表给你看：

指令	作用	影响范围
executor	指定执行平台（local/slurm/awsbatch等）	当前进程
cpus	分配给任务的CPU核心数	当前进程
memory	分配给任务的内存上限	当前进程
time	任务运行时间上限	当前进程
publishDir	输出文件发布目录	当前进程+输出通道
conda	指定Conda环境	进程内所有任务
container	指定Docker/Singularity容器	进程内所有任务

你可能会问：为什么这些指令要分开写？其实是为了作用域隔离。每个进程的指令只影响它自己，不会窜到别的进程里。

我的习惯：尽量把资源相关指令（cpus、memory、time）写在进程内部，而环境相关指令（conda、container）写在全局配置里。这样换执行环境时，只需要改配置，不用动流程代码。

3.2 标签：进程的身份证

标签（label）这玩意儿，我觉得是Nextflow里最被低估的功能。很多人把它当成注释来用，其实它的能力远不止如此。

标签的作用是给进程打上一个或多个标记。有了标签，你就能在配置文件里按标签统一调整资源。比如说，所有标注align_high_mem的进程，你可以在配置里一次性分配32GB内存。

看个实际案例。我在一个大型RNA-seq项目里，有20多个进程。如果每个进程都单独配资源，配置文件能写到吐血。后来我用标签分组：

process {
    withLabel: 'align_high_mem' {
        cpus = 8
        memory = '32 GB'
        executor = 'slurm'
        queue = 'highmem'
    }
    withLabel: 'align_low_mem' {
        cpus = 2
        memory = '8 GB'
        executor = 'slurm'
        queue = 'short'
    }
    withLabel: 'qc_check' {
        cpus = 1
        memory = '4 GB'
        time = '30m'
    }
}

然后在进程里这么写：

process ALIGN_STAR {
    label 'align_high_mem'

    script:
    """
    STAR --runThreadN ${task.cpus} ...
    """
}

process FASTQC {
    label 'qc_check'

    script:
    """
    fastqc sample.fastq
    """
}

这样做的好处是什么？解耦。进程只管核心逻辑，资源分配交给配置文件。你想想看，哪天集群换了，只需要改配置文件里的withLabel块，不用改动任何进程代码。

标签还能组合使用，一个进程可以打多个标签：

process CUSTOM_ANALYSIS {
    label 'align_high_mem'
    label 'post_process'

    script:
    """
    custom_tool -t ${task.cpus}
    """
}

然后配置里可以这样匹配：

process {
    withLabel: 'align_high_mem' {
        memory = '32 GB'
    }
    withLabel: 'post_process' {
        time = '4h'
    }
}

我建议：每个进程至少打一个标签。不要嫌麻烦，后期维护时你会发现这个习惯有多值钱。我曾经接手过一个没标签的Nextflow项目，改资源分配时得一个一个进程翻，花了整整一天。

3.3 资源分配参数：别让任务饿死也别喂太饱

资源分配这块，我个人觉得是Nextflow里最考验经验的地方。给多了浪费，给少了任务跑不动或者被kill。

常用的资源参数就四个：

cpus：任务可用CPU数
memory：任务可用内存量
time：任务运行时间上限
queue：提交到哪个队列

我一般会在进程里这么写：

process ALIGN_BWA {
    cpus 4
    memory '16 GB'
    time '2h'

    script:
    """
    bwa mem -t ${task.cpus} ref.fa reads.fq > aligned.sam
    """
}

注意我用了${task.cpus}引用cpu数。这样当配置文件里覆盖了cpus时，脚本里也会自动跟着变。很多新手直接写-t 4，后果就是改了配置，程序还只用4个核心。

条件资源分配，这也是个高级玩法。比如根据输入文件大小动态分配内存：

process ADAPTIVE_ALIGN {
    cpus { file(reads).size() > 1e9 ? 8 : 2 }
    memory { file(reads).size() > 1e9 ? '32 GB' : '8 GB' }

    input:
    path reads

    script:
    """
    align_tool -t ${task.cpus} -m ${task.memory}
    """
}

你可能会问：这样写会不会太复杂？说实话，不是所有项目都需要。但如果你的数据量级经常波动，这种自适应分配能省不少资源。

避坑指南：我曾经在一个项目中，给所有进程都配了memory '64 GB'，理由是“怕不够用”。结果集群资源被迅速占满，反而导致大量任务因等待资源而超时。后来我改成了按进程实际需求分配，整体效率提升了3倍。

资源分配顺序优先级也很关键。Nextflow里资源被覆盖的顺序是：

进程内直接指定的值（最高优先级）
withLabel块中指定的值
进程基配置（process块中指定）
默认值（最低优先级）

也就是说，你在进程里写了cpus 4，外面怎么配都改不了。这个特性有时候是好事，有时候是坑。我建议：保持灵活性，尽量别在进程里写死，除非这个值是算法必须的。

总结一下这节的核心内容。进程参数定义与作用域，关键就三件事：指令写对、标签用好、资源配准。指令决定了进程的骨架，标签为资源管理提供了灵活性，资源分配参数则是性能的关键。

我最后再啰嗦一句：参数配置这件事，没有银弹。每个项目都有自己的特点。你得根据数据量、集群负载、工具需求来调整。但核心原则不变——保持解耦、保持灵活、保持可追溯。

嗯，这部分内容就到这里。记住我说的，多用标签，少写死参数。你的Nextflow流程会变得优雅很多。