第四节：常见融合模式详解

好，咱们今天聊聊算子融合里最常见的几种模式。说实话，这些模式我几乎每天都在用。你想想看，一个模型里80%的算子都能归到这几类里。掌握了它们，你就掌握了优化的命门。

4.1 Conv+BN融合

这个组合太经典了。卷积后面接Batch Normalization，几乎是CNN的标配。我刚开始做模型优化时，总觉得这俩分开算也没什么。直到有一次，我在一个移动端项目里，发现光这个组合就占了30%的推理时间。

为什么会这样？说白了，BN在推理时其实是个线性变换。你想想看：

BN(x) = γ * (x - μ) / √(σ² + ε) + β

这不就是 y = ax + b 吗？而卷积也是线性操作。两个线性操作串在一起，完全可以合并成一个。

具体怎么合？我习惯这么做：

# 假设卷积权重为W，偏置为b
# BN参数：γ, β, μ, σ², ε

# 第一步：计算融合后的权重
W_fused = W * (γ / √(σ² + ε))

# 第二步：计算融合后的偏置
b_fused = (b - μ) * (γ / √(σ² + ε)) + β

嗯，这里要注意一点。训练时BN是独立的，因为μ和σ²是动态计算的。但推理时这些参数都固定了，所以可以放心融合。

核心收益：减少一次内存访问和一次逐元素操作。在ResNet50上，这个融合能省掉约15%的推理时间。

我的小技巧：如果你用的是PyTorch，可以用torch.nn.utils.fuse_conv_bn_eval()。但别完全依赖它，有时候手动融合能更灵活地处理一些特殊情况。

4.2 Conv+ReLU融合

这个模式更常见。卷积后面接ReLU，几乎每个卷积层都这么干。我遇到过不少新手，觉得ReLU就是个简单的max(0, x)，没必要优化。其实不然。

你想想看，卷积的输出要写回显存，ReLU又要读出来。这一写一读，带宽就浪费了。如果能直接在卷积计算过程中就把ReLU做了，那该多好？

具体做法其实很简单：

// 原始实现
float conv_out = conv(input, weight);
float relu_out = max(0, conv_out);

// 融合实现
float fused_out = max(0, conv(input, weight));

看着简单吧？但实现起来有个坑。我记得有一次，我在CUDA里写这个融合核函数，忘了处理卷积的边界情况。结果跑出来的结果全是错的。排查了半天才发现，原来是边界填充那块没处理好。

避坑指南：我曾经在融合Conv+ReLU时，忽略了卷积的padding。结果ReLU把padding的0值也激活了，导致特征图边缘出现异常。记住：padding区域不要参与ReLU计算。

4.3 Add+ReLU融合

这个模式在残差网络里特别多。两个分支相加，然后过ReLU。我刚开始觉得这有什么好融合的？不就是个加法吗？

后来我仔细算了算。加法操作本身不贵，但它的数据依赖很麻烦。两个分支的结果都要先算好，存起来，然后才能做加法。这一来一回，内存带宽就吃紧了。

融合的思路是这样的：

// 原始实现
float branch1_out = conv1(input);
float branch2_out = conv2(input);
float add_out = branch1_out + branch2_out;
float relu_out = max(0, add_out);

// 融合实现
// 在计算branch1_out时，直接累加到branch2_out上
// 然后立即做ReLU
float* output = ...;
for (int i = 0; i < N; i++) {
    output[i] = max(0, branch1_out[i] + branch2_out[i]);
}

说白了，就是把两个分支的计算尽量靠近，减少中间结果的存储。我在优化ResNet时，这个融合帮我省掉了将近10%的显存占用。

关键点：Add+ReLU融合的核心不是减少计算量，而是减少内存访问。在带宽受限的场景下，这个优化效果特别明显。

4.4 MatMul+Add融合

这个模式在Transformer里太常见了。矩阵乘法后面加偏置，其实就是全连接层的标准形式。我优化BERT时，发现这个操作占了将近40%的时间。

融合的思路很直接：

// 原始实现
float* matmul_out = matmul(input, weight);
for (int i = 0; i < N; i++) {
    matmul_out[i] += bias[i];
}

// 融合实现
// 在矩阵乘法的累加过程中，直接加上偏置
float* output = ...;
for (int i = 0; i < M; i++) {
    for (int j = 0; j < N; j++) {
        float sum = 0;
        for (int k = 0; k < K; k++) {
            sum += input[i][k] * weight[k][j];
        }
        output[i][j] = sum + bias[j];  // 这里直接加偏置
    }
}

你可能会问，这能省多少？其实计算量没变，但少了一次显存写入和一次读取。在带宽受限的场景下，这个优化能带来5-10%的性能提升。

我的经验：在优化Transformer模型时，我习惯把MatMul+Add和后面的LayerNorm也一起考虑。虽然不能直接融合，但可以调整数据布局，让它们共享缓存。这个技巧我在好几个项目里都用过，效果不错。

知识体系总览

说了这么多，我画个图帮你理一理思路。这四种融合模式，其实都遵循一个原则：把连续的线性操作合并，减少中间结果的存储和读取。

常见算子融合模式 Conv + BN 融合 原理：线性+线性=线性 方法：权重和偏置合并 收益：减少一次内存访问 场景：CNN推理阶段 注意：训练时不可融合 Conv + ReLU 融合 原理：计算时直接激活 方法：在卷积核中加ReLU 收益：减少显存读写 场景：几乎所有CNN 注意：处理padding边界 Add + ReLU 融合 原理：就近计算减少存储 方法：累加后立即激活 收益：降低显存占用 场景：残差网络 注意：分支计算顺序 MatMul + Add 融合 原理：累加时加偏置 方法：在矩阵乘中加偏置 收益：减少一次写+读 场景：Transformer/FC层 注意：可与LayerNorm配合 核心思想：减少中间结果的存储和读取，提升内存带宽利用率

这四种模式，说白了就是同一个思路的不同变体。你掌握了这个思路，以后遇到新的算子组合，也能自己判断能不能融合、怎么融合。

好了，这四种常见融合模式就讲到这里。记住，优化的本质不是炫技，而是理解硬件在做什么。你想想看，GPU最怕什么？最怕闲着等数据。融合就是让数据流动得更顺畅，让计算单元一直忙起来。

总结一下：

  • Conv+BN：线性合并，推理时必做
  • Conv+ReLU：计算时直接激活，注意padding
  • Add+ReLU：就近计算，减少存储
  • MatMul+Add：累加时加偏置，Transformer必备

想要更多资料，联系可可

← 上一章 📖 返回目录 下一章 →