1. Nextflow 缓存复用概览

1.1 什么是缓存复用？

先问个简单问题：你跑完一个管道，改了一行参数，所有任务都得重算一遍？那显然不靠谱。缓存复用，说白了就是让 Nextflow 记住每个任务的“指纹”——输入文件、脚本、参数等所有关键信息。下次同样指纹一来，直接跳过计算，拿上一次的结果就行。

我刚接触 Nextflow 时，第一次跑一个 RNA-seq 差异表达管道，因为一个样本名写错了，修正后整个管道重跑了 6 个小时。后来我意识到，只要改的是不影响计算结果的东西（比如注释），缓存就能帮我省掉绝大部分时间。

核心概念其实就三点：

• 缓存键（Cache Key）：一个哈希值，用来标识任务的唯一性。
• 缓存目录：Nextflow 默认存在 work/ 目录下，每个任务对应一个子目录。
• 缓存命中：相同缓存键存在且有效时，直接复用之前的结果，不再触发实际计算。

1.2 缓存为什么重要？

你想想看，一个中型生物信息学管道，可能有几十个进程，每个进程跑几十分钟到几小时。如果没有缓存，改个参数就得全部重来，那简直是噩梦。缓存复用的价值体现在两方面：

• 时间成本：从数小时缩短到分钟级。我经手过一个 WGS 变异检测管道，原始跑完要 3 天。缓存复用后，第二次只花了 20 分钟——因为 95% 的任务都命中了缓存。
• 资源成本：节省 CPU/GPU 和内存。云上跑一次管道可能花费几百美金，缓存复用能让你在调试阶段几乎零成本迭代。

这里有个对比表格，更直观：

嗯，这里要注意：缓存并非万灵药。它的生效前提是输入、参数和脚本没有变化。如果你只是改了文件名但文件内容没变，Nextflow 也会认为缓存失效——它计算的是文件路径的哈希。

1.3 缓存核心机制

Nextflow 的缓存复用到底是怎么工作的？过程不复杂，我给你拆解一下：

1. 每个进程在启动前，会收集所有输入文件、参数、脚本代码、环境变量等信息。
2. 将这些信息组合成一个字符串，然后通过 SHA-256 计算出一个 64 位的哈希值。
3. 在 work/ 目录下查找是否存在以该哈希值命名的缓存目录。
4. 如果存在且文件完整，就跳过执行；否则就执行并创建新的缓存。

关键配置项长这样：

// 在 nextflow.config 中
process {
    cache = 'deep'            // 可选: 'lenient', 'deep', 或自定义
    stageInMode = 'copy'      // 影响缓存键的计算内容
}

cache 参数控制缓存检查的严格程度：

• lenient：只检查进程名称和输入文件名列表，内容变化也不重新执行。
• deep（默认）：检查所有输入文件的内容哈希、参数值、脚本代码。
• 自定义：你可以通过 cacheable 闭包指定哪些因素影响缓存。

我个人习惯在生产环境用 deep，虽然计算哈希会有几秒钟开销，但能保证绝对正确。在调试阶段，如果确认有些变更不影响结果，可以临时改成 lenient 加速迭代。

1.4 缓存复用机制图

为了让你一眼看清整个过程，我画了张流程图：

1.5 首次体验缓存

不用任何配置，Nextflow 默认就开启了 deep 缓存。我们拿一个最简单的管道试试：

// hello.nf
process sayHello {
    input:
    val name

    output:
    stdout

    script:
    """
    echo "Hello $name!"
    """
}

workflow {
    sayHello('World')
    sayHello('Nextflow')
}

运行它：

nextflow run hello.nf

控制台会输出两个任务的执行日志。再运行一次，你会发现只有一行摘要信息，所有任务都显示 CACHED：

executor >  local (2)
[20/abc123] process > sayHello (World)    [100%] 1 of 1, cached: 1 ✔
[20/def456] process > sayHello (Nextflow) [100%] 1 of 1, cached: 1 ✔

看到 cached 字样了吗？这就是缓存命中了。此时 work/ 目录下会出现以哈希值命名的子目录：

work/
├── 20
│   ├── abc123
│   │   ├── .command.begin
│   │   ├── .command.log
│   │   ├── .command.out
│   │   ├── .command.run
│   │   ├── .command.sh
│   │   └── exitcode
│   └── def456

我个人建议，日常开发中保留缓存，只有当你确认输入或参数有重大变更时才手动清除。否则，你会白白浪费计算资源——嗯，我见过有人每天定时删 work/ 的，那还不如不跑管道。

1.6 避坑指南

最后分享几个我曾经踩过的坑，帮你省点时间：

• 文件路径变动导致缓存失效：如果一个进程的输入文件路径变了（哪怕内容一样），缓存键就会变化。解决方案是用 file(..., link: true) 或使用内容哈希。
• 环境变量改变：Nextflow 默认会捕获 PATH 等环境变量进入缓存键。如果你只是改了 PATH 里一个不相关的路径，所有任务都会重跑。可以在 process.cacheable 中过滤掉无关变量。
• 随机数或日期：如果脚本里用了 date、random 等非确定性指令，每次运行都会产生新哈希，缓存永远不会命中。务必将这些值移到进程参数中，并显式控制。