计算图与算子：深度学习的基础构件

大家好，我是你们的老朋友。今天我们来聊聊深度学习框架里最核心的两个概念——计算图和算子。说实话，我刚入行那会儿，觉得这些东西太抽象了，不就是搭积木吗？直到有一次我在优化一个推荐模型时，发现计算图结构不合理，导致显存爆炸……嗯，从那以后我再也不敢小看这两个概念了。

计算图：深度学习的大脑

计算图是什么？说白了，它就是深度学习模型的计算流程描述。你想想看，一个神经网络有成百上千层，每层都有各种运算，如果没有一个清晰的图结构来管理，那不乱套了？

计算图由两个基本元素组成：节点（Node）和边（Edge）。节点代表算子（也就是运算），边代表数据流动的方向。我习惯把计算图想象成一个工厂流水线——每个工位（节点）负责一道工序，传送带（边）把半成品送到下一个工位。

我在项目中遇到过这样一个坑：有人把计算图画成了循环结构，结果框架死活跑不通。为什么？因为深度学习框架的计算图必须是有向无环图（DAG）。有环就意味着无限循环，这在训练过程中是灾难性的。

算子的定义与分类

算子（Operator），也叫操作符，是计算图上的节点。每个算子完成一个特定的数学运算。我经常跟团队说：算子就是深度学习世界的「原子操作」。

算子可以分成几大类：

类别	典型算子	说明
数学运算	Add、Mul、MatMul	加减乘除、矩阵乘法
激活函数	ReLU、Sigmoid、Tanh	引入非线性
形状变换	Reshape、Transpose、Concat	改变张量维度
归一化	BatchNorm、LayerNorm	稳定训练过程
池化	MaxPool、AvgPool	降采样

这里我要特别强调一下：算子的粒度很重要。有些框架把矩阵乘法拆成多个小算子，有些则合并成一个。我建议你在做算子融合时，先搞清楚框架的算子粒度——太细了融合收益大但实现复杂，太粗了可能错过优化机会。

计算图中的数据流

数据流，就是张量（Tensor）在计算图中的流动过程。每个算子接收输入张量，经过计算，输出新的张量。这个过程看似简单，但里面门道很多。

我画了一张图，帮你理解数据流的核心逻辑：

这张图展示了一个典型的数据流路径。输入张量先经过卷积算子，生成特征图；然后经过ReLU激活，得到激活值；再经过池化，得到池化结果；最后输出。每一步，张量的形状和数值都在变化。

计算图的两种模式：静态图 vs 动态图

说到计算图，就不得不提静态图和动态图的区别。我刚开始用PyTorch时，觉得动态图太方便了，想怎么改就怎么改。后来做部署优化时，发现静态图才是性能利器。

静态图（如TensorFlow 1.x、TensorRT）：先定义好完整的计算图，然后执行。优点是优化空间大，可以全局分析；缺点是不够灵活。

动态图（如PyTorch、TensorFlow 2.x）：边定义边执行，每步都实时计算。优点是调试方便，适合研究；缺点是优化受限。

我个人习惯是：研究阶段用动态图，部署阶段转静态图。这样既保证了开发效率，又兼顾了运行性能。

算子融合：从计算图开始的优化

好了，讲完这些基础，我们终于可以聊聊算子融合了。算子融合的本质是什么？就是把计算图中多个连续的算子合并成一个。为什么要这么做？因为可以减少内存访问、减少内核启动开销、提高计算密度。

举个例子，假设你有这样一个计算图片段：

# 原始计算图
def original_graph(x):
    a = conv2d(x, weight)
    b = bias_add(a, bias)
    c = relu(b)
    return c

# 融合后的计算图
def fused_graph(x):
    # 一个算子完成 conv + bias + relu
    return fused_conv_bias_relu(x, weight, bias)

你看，三个算子合并成一个。在GPU上，这意味着减少了两次全局内存读写和两次内核启动。对于大模型来说，这种优化能带来30%以上的性能提升。

小结

今天的内容就到这里。计算图和算子是深度学习优化的基石，理解它们才能做好算子融合。记住三点：

• 计算图是DAG，不能有环
• 算子粒度影响融合策略
• 数据流中的张量形状和类型必须匹配

下次我们聊聊具体的算子融合策略，包括水平融合、垂直融合和跨图融合。嗯，到时候我会分享一些实际项目中的踩坑经历，保证让你少走弯路。