算子与计算图基础

各位同学，今天我们来聊聊算子映射的根基——算子与计算图。说实话，我刚开始接触NPU开发时，也以为算子就是一堆数学公式的集合。后来踩了不少坑才明白，理解算子和计算图的关系，才是真正入门的关键。

一、算子定义：到底什么是算子？

算子，英文叫Operator，在AI芯片领域，我习惯把它理解为“一个可执行的计算单元”。说白了，就是输入数据进去，经过某种运算，输出结果出来。比如卷积、ReLU、矩阵乘法，这些都是算子。

但要注意，算子不是简单的函数。我在项目中遇到过这样的问题：同样的卷积运算，在CPU上是一个for循环，在GPU上是cuda核函数，在NPU上就得拆成多个微指令。所以，算子的本质是“计算逻辑的抽象”，具体怎么实现，取决于硬件。

举个例子，一个简单的加法算子：

// 伪代码：加法算子定义
Op AddOp {
  inputs: [tensor_a, tensor_b]
  output: tensor_c
  compute: c[i] = a[i] + b[i]
  constraints: a.shape == b.shape
}

嗯，这里要注意，实际NPU上的算子定义远比这个复杂。你还要考虑数据类型、内存对齐、流水线级数等等。我曾经因为没指定数据类型，导致FP16和FP32混用，结果精度直接崩了。

二、计算图概念：AI模型的骨架

计算图，说白了就是“算子的有向无环图”。每个节点是一个算子，每条边是数据流向。你想想看，一个神经网络模型，几十上百个算子，总得有个东西把它们串起来吧？计算图就是干这个的。

我个人习惯把计算图分成两种：

• 静态图：先定义好整个图结构，再执行。TensorFlow 1.x就是典型代表。好处是编译优化空间大，坏处是调试麻烦。
• 动态图：边定义边执行，PyTorch就是这种。灵活，但优化空间小一些。

在NPU算子映射中，我们通常会把动态图先转换成静态图，再做映射。为什么？因为静态图能让我们看到全局，方便做算子融合、内存复用这些优化。

三、前向传播与反向传播

这两个概念，我估计大家都听过。但我想从算子映射的角度聊聊。

前向传播：输入数据从计算图的起点，一路经过各个算子，最终得到输出。这个过程是确定的，每个算子都知道自己要做什么。

反向传播：从损失函数开始，沿着计算图反向计算梯度。这里有个关键点——反向传播需要前向传播的中间结果。

为什么会这样？你想想看，计算梯度时，比如对卷积求导，你需要知道输入数据和卷积核的值。这些值在前向传播时已经算过了，但如果你没保存，就得重新算一遍。

我在项目中遇到过这样的坑：为了省内存，我把前向传播的中间结果都丢了。结果反向传播时，不得不重新计算一遍前向，速度直接慢了3倍。所以，算子映射时，一定要考虑中间结果的保存策略。

四、算子粒度分类：标量、向量、矩阵、张量

算子粒度，说白了就是“一个算子一次处理多少数据”。这个分类对NPU设计至关重要，因为不同粒度的算子，硬件实现方式完全不同。

粒度	定义	典型算子	NPU实现特点
标量	处理单个数值	加法、乘法、比较	ALU直接执行，延迟低
向量	处理一维数组	向量加法、点积	SIMD单元，并行度高
矩阵	处理二维数组	矩阵乘法、卷积	脉动阵列，吞吐量大
张量	处理高维数组	张量收缩、注意力	多维并行，内存带宽是关键

这里我想强调一点：算子粒度不是越细越好。标量算子虽然灵活，但并行度低。矩阵算子吞吐量大，但硬件开销也大。我见过一些NPU设计，为了追求极致性能，把所有算子都映射成矩阵运算，结果小算子（比如ReLU）反而效率低下。

所以，实际项目中，我们会做算子融合。比如把连续的标量运算合并成一个向量运算，或者把多个小矩阵运算合并成大矩阵运算。这样既能利用硬件的并行能力，又不会浪费资源。

五、知识体系总览

下面这张图，是我自己总结的算子与计算图的知识体系。你可以把它当作学习路线图：

从这张图你可以看到，算子映射不是孤立的事情。它需要你理解算子的定义、计算图的组织方式、前反向传播的依赖关系，以及不同粒度的硬件适配策略。每一步都环环相扣。

六、实战建议

最后，给各位几个实战建议：

1. 从简单算子开始：别一上来就搞卷积、注意力。先拿加法、ReLU这些标量算子练手，理解映射流程。
2. 画图比写代码重要：我习惯先在纸上画出计算图，标出每个算子的输入输出，再考虑映射方案。
3. 关注反向传播：很多新手只关心前向，忽略了反向。但实际部署时，反向传播的算子映射往往更复杂。
4. 粒度要匹配：别把标量算子硬塞给矩阵单元，也别把矩阵算子拆成标量。让合适的算子跑在合适的硬件上。

好了，算子与计算图的基础就讲到这里。记住，这些概念是后续所有算子映射工作的基石。把基础打牢，后面学起来会轻松很多。