3. 算子融合理论基础：计算图与数据流图，融合的数学本质（矩阵运算合并），访存局部性原理与时间/空间局部性

好，咱们今天聊点硬核的。算子融合，说白了就是让计算更“省事儿”。但省事儿不能瞎省，你得知道底层逻辑是什么。我个人习惯，在讲具体融合策略之前，先把理论基础夯结实。这就像盖楼，地基不稳，上层再花哨也白搭。

3.1 计算图与数据流图：算子的“骨架”

你想想看，一个神经网络模型，本质上是什么？是一堆算子和它们之间的连接关系。我们把这种关系画出来，就是计算图。我刚开始接触AI芯片时，总觉得这玩意儿就是个流程图，后来发现没那么简单。

计算图，它描述的是“计算”的依赖关系。比如 A 算完才能算 B，B 算完才能算 C。这是一种静态的、逻辑上的描述。而数据流图，则更关注“数据”是怎么流动的。数据从哪来，经过哪些算子，最终流向哪。

举个例子，一个简单的加法乘法组合：

// 伪代码：计算图描述
// 节点：Add, Mul
// 边：数据依赖
// 输入: a, b, c
// 输出: d

// 计算图逻辑
d = Mul(Add(a, b), c)

// 数据流图视角
// 数据 a, b 流入 Add 节点
// Add 节点输出中间结果 tmp
// tmp 和 c 流入 Mul 节点
// Mul 节点输出最终结果 d

嗯，这里要注意。在存算一体架构下，计算图和数据流图的区别会变得非常关键。因为存算一体里，数据搬移的成本极高。你如果只盯着计算图看，可能会忽略数据流带来的巨大开销。我在项目中遇到过，一个看似简单的算子组合，因为数据流没规划好，导致性能直接腰斩。

3.2 融合的数学本质：矩阵运算合并

聊完图，咱们聊聊数学。很多算子融合，归根结底是矩阵运算的合并。你想想看，卷积、全连接、甚至一些激活函数，在硬件层面都可以拆解成矩阵乘法和向量操作。

比如，一个常见的模式：Conv2D + BatchNorm + ReLU。如果不做融合，你得先算卷积，把结果写回DRAM；再读出来算BatchNorm，再写回去；再读出来算ReLU。这中间的数据搬移，简直是灾难。

那融合怎么做？数学上，BatchNorm 可以看作是对卷积结果的线性变换：y = gamma * (x - mean) / sqrt(var + eps) + beta。这个变换可以“吸收”到卷积的权重里。ReLU 则是一个简单的 max(0, x) 操作。

所以，融合后的数学本质是：

// 原始计算
conv_out = Conv2D(input, weight, bias)
bn_out = BatchNorm(conv_out, gamma, beta, mean, var)
relu_out = ReLU(bn_out)

// 融合后的计算（数学等价）
// 1. 将 BatchNorm 参数合并到卷积权重和偏置中
weight_fused = weight * (gamma / sqrt(var + eps))
bias_fused = (bias - mean) * (gamma / sqrt(var + eps)) + beta

// 2. 一步计算
fused_out = ReLU(Conv2D(input, weight_fused, bias_fused))

你看，三个算子变成了一个。这就是矩阵运算合并的魅力。我个人习惯，在写融合策略时，会先在纸上把数学公式推一遍。确认等价性，这是底线。我曾经因为疏忽，把一个缩放因子算错了，结果模型精度掉了两个点，排查了整整两天。

3.3 访存局部性原理：时间与空间的“亲密关系”

好，这是今天的重头戏。为什么算子融合能提速？根本原因在于它改善了访存局部性。你想想看，冯·诺依曼架构的瓶颈在哪？在“存储墙”。CPU/芯片算得再快，数据搬不过来，也是白搭。存算一体架构虽然缓解了这个问题，但局部性原理依然适用，甚至更重要。

时间局部性： 如果一个数据被访问了，那么它在不久的将来很可能被再次访问。

空间局部性： 如果一个数据被访问了，那么它附近的数据也很可能被访问。

算子融合如何利用这两点？

• 时间局部性： 融合后，中间结果（比如卷积的输出）不再写回主存，而是直接留在片上缓存或计算单元里，供下一个算子使用。这相当于“趁热”把数据用掉，避免了重复加载。
• 空间局部性： 融合后的算子，往往会对同一块数据区域进行连续操作。比如卷积和池化融合，它们访问的数据窗口是高度重叠的。融合后，数据只需要加载一次，就能被多个操作复用。

为了让你更直观地理解，我画了一张图。这张图展示了融合前后，数据在存储层次中的流动差异。

从这张图可以看得很清楚。未融合时，数据在DRAM和计算单元之间来回倒腾，三次访存。融合后，数据只进出一次，中间结果在片上就消化掉了。这就是局部性原理的胜利。

总结一下今天的内容。计算图和数据流图是分析的基础，矩阵运算合并是数学本质，而访存局部性原理是性能提升的根源。这三者构成了算子融合的“铁三角”。理解它们，你才能在设计融合策略时，做到心中有数，而不是瞎蒙。

算子融合理论基础总结

概念	核心要点	在融合中的作用
计算图 / 数据流图	描述算子依赖与数据流动	识别可融合的算子组合，规划数据路径
矩阵运算合并	将多个线性/非线性操作数学等价合并	减少计算步骤，消除中间结果
访存局部性	时间局部性 + 空间局部性	减少数据搬移次数，提高缓存命中率

嗯，今天就先聊到这。这些理论听起来可能有点抽象，但它们是后续所有实战技巧的基石。你可以在实际项目中，试着用今天讲的框架去分析一个简单的算子组合，看看能不能找到融合的机会。