1. 算子融合基础：什么是算子融合？为什么能提升训练吞吐？核心原理与收益分析
1.1 从一个让我头疼的优化问题说起
几年前我接手过一个BERT训练加速的项目。模型跑在8卡A100上，显存占用爆满，吞吐却只有理论峰值的30%。我盯着NVIDIA Nsight的profile结果看了半天，发现GPU有一半时间都在干一件事——读写显存，而不是真正做计算。
说白了，就是算子太碎，像把一堆小零件散在地上，每次要用都得弯腰去捡。而算子融合，就是把这些小零件焊成一个整体，一次拿完。
1.2 什么是算子融合？
算子融合（Operator Fusion），就是把多个连续的计算操作合并成一个单一操作。举个例子：
# 融合前：两个独立算子
x = torch.add(a, b) # 写一次显存
y = torch.relu(x) # 读一次，再写一次
# 融合后：一个融合算子
y = fused_add_relu(a, b) # 只读一次，只写一次
你看，融合前需要两次显存读写，融合后只需要一次。这个差别在大型模型中会被放大成千上万倍。
核心定义：算子融合是将计算图中的多个相邻算子合并为一个复合算子，减少中间结果的显存读写，从而提升计算效率。
1.3 为什么能提升训练吞吐？
这里我要讲一个关键概念——访存瓶颈。现代GPU的计算能力增长远快于显存带宽的增长。你想想看，A100的FP16算力是312 TFLOPS，但显存带宽只有2 TB/s。这意味着什么？
意味着如果你做的是带宽密集型操作（比如逐元素加法、激活函数），GPU的计算单元大部分时间都在等数据。我习惯把这个现象叫做「GPU在摸鱼」。
算子融合主要从三个方面提升吞吐：
- 减少显存访问次数：中间结果不再写回显存，直接在寄存器或共享内存中传递
- 提高计算密度：融合后的算子有更多计算操作，让GPU吃饱
- 减少kernel launch开销：每个算子启动都有几十微秒的延迟，融合后启动次数大幅减少
我的经验：在NVIDIA V100上，一次kernel launch大约需要5-10微秒。如果你的模型有1000个算子，光启动开销就5-10毫秒。融合后降到100个算子，启动开销直接省掉90%。
1.4 核心原理：计算图与访存分析
要理解算子融合，得先看懂计算图。我画了一张图来说明：
这张图很直观地展示了问题所在。融合前，Add算子的输出要写回显存，Relu算子再读出来。一来一回，带宽就浪费了。融合后，Add的结果直接留在寄存器里给Relu用，省掉了一次读写。
1.5 收益分析：到底能快多少？
我整理了一份实际测试数据，来自我去年做的一个ResNet-50训练优化项目：
| 优化项 | 融合前 | 融合后 | 提升幅度 |
|---|---|---|---|
| 单步训练时间 | 120 ms | 85 ms | 29% |
| 显存占用 | 8.2 GB | 6.5 GB | 20% |
| kernel启动次数 | 1,240 次 | 380 次 | 69% |
| GPU利用率 | 42% | 68% | 26% |
注意：不是所有算子都适合融合。我曾经把两个计算密集型的矩阵乘法强行融合，结果因为寄存器压力过大，反而变慢了。融合的关键是看算子类型——访存密集型算子（如逐元素操作、激活函数）最适合融合，计算密集型算子（如矩阵乘法）融合收益有限。
1.6 常见的融合模式
在实际工程中，我总结了几种最常见的融合模式：
- 逐元素操作融合：Add+Relu、Mul+Add、Sigmoid+Mul 等
- 归一化层融合：BatchNorm+Relu、LayerNorm+Add 等
- 卷积+激活融合：Conv2d+Relu、Conv2d+Sigmoid 等
- 注意力机制融合：QKV投影+分头、Softmax+Dropout 等
嗯，这里要注意一点。融合不是越「狠」越好。我见过有人把整个Transformer block融合成一个算子，结果编译时间从几分钟变成几小时，而且因为寄存器不够用，性能反而下降了。融合的粒度需要根据硬件特性来调整。
1.7 避坑指南
最后分享几个我踩过的坑：
- 不要盲目融合：先做profile，找到真正的瓶颈。我见过有人花两周融合算子，结果发现瓶颈在数据加载上。
- 注意数值精度：融合后计算顺序变了，可能导致数值误差。特别是在混合精度训练中，要小心FP16的精度损失。
- 调试难度增加：融合后的算子像个黑盒，出了问题很难定位。我建议先保持原始计算图做对照实验。
我的习惯：每次做算子融合优化，我都会先跑一遍profiling，记录融合前后的每个算子的耗时和显存访问量。这样出了问题，能快速定位到是哪个融合操作导致的。
算子融合是深度学习训练加速中最基础也最有效的手段之一。说白了，就是让GPU少做无用功，把时间花在真正的计算上。下一节我们会深入具体的融合实现技术，包括如何手写融合kernel，以及如何利用TVM、XLA等框架自动完成融合。
想要更多资料，联系可可