课程介绍与Nextflow概述

各位同学好，我是你们这门课的讲师。在生物信息这个行当里摸爬滚打了七八年，我见过太多因为流水线管理不善导致的“惨案”——脚本散落在各个文件夹里，参数写死在代码中，换台服务器就报错，半年后想复现结果却根本跑不起来。说实话，我曾经也深受其苦。直到我遇到Nextflow，才算真正找到了“解药”。这门课，就是要把我这些年趟过的坑、总结的经验，原原本本讲给你听。

Nextflow的发展背景

先说说为什么会有Nextflow。早些年做生信分析，大家习惯写一堆Bash脚本，再套个Makefile来管理依赖。但这套方案有两个硬伤：一是可重复性差，换个环境大概率崩；二是并行调度全靠手搓，跑个WGS分析都得盯着任务队列。2013年左右，Paolo Di Tommaso他们开始琢磨——能不能搞一个框架，既能抽象流水线逻辑，又能自动处理执行环境？于是Nextflow诞生了。

它的核心思路其实很简单：把计算任务封装成进程（process），进程之间通过通道（channel）传递数据，流水线本身用DSL（领域特定语言）描述。这样，底层的调度、资源管理、容器化这些脏活累活，就全交给框架了。我记得最初版本只支持SGE和LSF，后来慢慢加上Slurm、AWS Batch、Kubernetes……现在基本上你能想到的调度系统，它都支持。

时期	主要版本	关键特性
2013–2015	v0.x	原型阶段，支持基本进程与通道
2016–2018	v1.x – v2.x	DSL1成熟，加入Docker/Singularity支持
2019–2021	v20.x – v21.x	DSL2发布，模块化、多平台集成爆发
2022至今	v22.x +	性能优化，Wave容器、实验性DSL2增强

Nextflow在生物信息学中的应用优势

你想想看，一个典型的高通量测序分析流水线，通常要经过质控、比对、变异检测、注释……每一步可能要用不同的工具，有的吃CPU，有的吃内存，有的还要求GPU。用传统方式写，你得手动管理依赖、折腾环境、处理中间文件。Nextflow怎么解决这些痛点？

• 天然可重复：通过容器（Docker/Singularity）或Conda锁定软件版本，配合Profiles，一套代码能在笔记本、HPC集群、云端无缝切换。
• 自动并行：进程之间只要数据不冲突，框架自动并行跑。我曾经用一台16核工作站，把原来跑12小时的分析压缩到45分钟——全靠并行。
• 断点续跑：哪一步挂了，修好bug后重新执行，Nextflow只重跑失败的任务，之前的结果根本不浪费。
• 模块化与社区：nf-core生态提供了大量经过验证的模块和流水线，你直接拿来就能用，或者改一改攒自己的“私房菜”。

举个具体的场景：我现在带的团队要构建一个RNA-seq质控与定量流水线。如果用Bash，每个环节都得写一个脚本，然后手动串起来，还要写Grid提交脚本。用Nextflow呢？

#!/usr/bin/env nextflow
nextflow.enable.dsl=2

process FASTQC {
    input:
    path reads

    output:
    path "fastqc_report.html"

    script:
    """
    fastqc -o . $reads
    """
}

workflow {
    FASTQC( channel.fromPath("*.fastq.gz") )
}

看到没？6行代码就定义了一个质控进程。你不需要关心fastqc装在哪、怎么提交任务、中间文件放哪里……Nextflow帮你搞定。

本课程的学习目标与路线图

这门课不是理论课，是实战课。我的目标很简单：让你学完就能上手搭建自己的质控流水线。具体来说，你会掌握：

• Nextflow的核心概念（进程、通道、作用域）
• DSL2语法与模块化设计
• 常见质控工具（FastQC、MultiQC、Trimmomatic、FastP）的集成
• 资源管理与容器化（Docker/Singularity）
• 作业配置文件（nextflow.config）的定制
• 如何部署到集群（Slurm）或云平台

下面这张图是整个课程的知识体系框架，你可以把它当作地图，随时回来定位自己学到哪了。

关于课程路线图，我再多说几句。前8章是基础，你不用担心自己没接触过Nextflow。第9章开始进入核心——这部分很重要，尤其是配置文件和容器部分，我建议你边学边敲。实战篇我们会手把手搭一个完整的RNA-seq质控流水线，包括MultiQC聚合报告。最后5章是进阶内容，适合希望在生产环境中用的同学。