1. 算子融合概述
大家好，我是这门课的主讲人。今天咱们聊聊算子融合——这个在AI编译器中绕不开的核心话题。说实话，我刚接触这个概念时也觉得挺玄乎的，但搞明白之后你会发现，它其实就是一套很朴素的优化思路。
什么是算子融合
先给个最直白的定义：算子融合，就是把多个连续的计算操作合并成一个操作。听起来很简单对吧？但它的威力可一点都不小。
举个例子，你写神经网络的时候，经常会有这样的模式：
// 融合前：两个独立的算子
y = conv2d(x, weight) // 卷积
z = relu(y) // 激活
// 融合后：一个融合算子
z = fused_conv_relu(x, weight) // 卷积+激活，一步到位嗯，这里要注意：融合后的算子，在数学上跟原来完全等价。我们只是改变了计算的组织方式，没有改变计算结果。这一点很重要，后面讲正确性验证时会反复提到。
核心要点：算子融合是一种计算优化技术，通过合并多个连续算子来减少中间数据的读写开销，提升整体执行效率。
为什么需要算子融合
你可能会问：分开算不是也挺好的吗？为什么要费劲去融合？
说白了，问题出在内存带宽上。我给大家算笔账：
| 操作 | 计算量 | 数据读写量 | 瓶颈 |
|---|---|---|---|
| conv2d + relu（分开） | 高 | 2倍中间结果 | 内存带宽 |
| fused_conv_relu（融合） | 相同 | 1倍中间结果 | 计算能力 |
看到没？计算量没变，但数据读写量少了一半。我在项目中遇到过这样的情况：一个看起来计算密集的模型，实际跑起来GPU利用率只有30%多。一分析，发现大部分时间都花在读写中间结果上了。融合之后，利用率直接飙到80%以上。
我的经验：算子融合最擅长解决的是「计算快、搬运慢」的问题。如果你的模型已经是计算瓶颈，融合的效果可能没那么明显。但大多数情况下，融合都能带来可观的收益。
还有一个容易被忽略的点：融合可以减少kernel launch的开销。每个算子在GPU上执行都需要启动一个kernel，启动本身就有几百微秒的延迟。你想想看，如果一个模型有几百个算子，光启动时间就够喝一壶的了。
算子融合的分类
搞清楚了为什么需要融合，咱们来看看融合有哪些类型。我个人习惯把融合分成两大类：水平融合和垂直融合。
垂直融合
垂直融合，也叫流水线融合。它把计算图中前后串联的算子合并成一个。刚才的conv+relu就是典型的垂直融合。
常见的垂直融合模式：
- Conv + BN + ReLU：卷积、批归一化、激活三合一，这是CNN里最常见的融合模式
- MatMul + Add + Softmax：矩阵乘、加法、softmax，Transformer里经常用
- LayerNorm + Add：层归一化和残差连接的融合
我曾经踩过一个坑：把BN和Conv融合后，发现精度对不上。查了半天，原来是BN在推理时用的是running mean和running var，而训练时用的是batch mean和batch var。融合时一定要区分训练和推理模式，不然就会出问题。
避坑指南：垂直融合时，一定要检查算子的计算语义是否完全等价。特别是那些有状态（如BN的running统计量）或者有特殊边界条件（如padding模式）的算子，融合后很容易引入细微的精度差异。
水平融合
水平融合，也叫并行融合。它把计算图中并行执行的多个相同算子合并成一个。举个例子：
// 水平融合前：两个独立的卷积
y1 = conv2d(x, weight1) // 分支1
y2 = conv2d(x, weight2) // 分支2
// 水平融合后：一个批量卷积
[y1, y2] = batch_conv2d(x, [weight1, weight2]) // 一次计算两个分支水平融合的好处很明显：提高了计算密度。原来两个小卷积各自启动kernel，现在合并成一个大的，GPU的并行度更高了。
我给大家画个图，直观感受一下这两种融合的区别：
从图上可以看得很清楚：垂直融合是沿着计算流的方向合并，水平融合是把同一层的多个计算合并。两种融合方式可以叠加使用，实际工程中往往是混合策略。
其他融合类型
除了这两大类，还有一些特殊的融合场景：
- 算子内融合：比如把一个大的矩阵乘拆成多个小块，然后融合计算。这其实是水平融合的一种变体。
- 跨算子融合：跨越多个计算阶段的融合，比如把整个Transformer block融合成一个算子。这种融合难度大，但收益也最大。
我的建议：初学者先从垂直融合入手，把conv+bn+relu这种经典模式练熟。水平融合对硬件特性的依赖更强，需要你对GPU的warp调度、shared memory有深入理解。别急，后面几章我们会逐个击破。
好了，这一章的内容就到这里。算子融合的概念其实不复杂，但它是整个编译器优化的基石。后面的课程里，我们会深入每个融合模式的实现细节，包括代码生成、正确性验证、性能调优等实战内容。
想要更多资料，联系可可