2. 算子映射基础

各位同学，今天我们来聊聊算子映射。说实话，这个概念刚接触时很容易被绕晕。我当年刚入行时，以为算子映射就是把PyTorch里的函数名直接对应到NPU指令上——结果被现实狠狠教育了一顿。

嗯，咱们先搞清楚最基础的问题：算子到底是什么？

什么是算子？

算子，英文叫Operator，简称Op。你可以把它理解成神经网络里的基本运算单元。比如卷积、矩阵乘法、ReLU激活函数、BatchNorm——这些都是算子。

我个人习惯把算子分成三类：

• 计算密集型算子：卷积、全连接、矩阵乘法。这类算子吃算力，是NPU的强项。
• 访存密集型算子：Reshape、Transpose、Concat。这类算子不费算力，但特别吃带宽。
• 控制流算子：条件判断、循环。这类算子NPU通常不太擅长，得靠CPU兜底。

举个例子，你在PyTorch里写一行 y = torch.nn.functional.relu(x)，这背后就是一个ReLU算子。但在NPU上，它可能被拆成几个更细粒度的指令来执行。

算子映射的定义与目标

算子映射，说白了就是：把框架层定义的算子，翻译成目标硬件能执行的指令序列。

你想想看，PyTorch里的卷积算子，参数有输入通道数、输出通道数、卷积核大小、步长、padding。但NPU的卷积指令，可能只支持特定的数据排布、特定的精度模式、特定的内存对齐方式。怎么把框架的参数翻译成硬件能理解的参数？这就是映射要解决的问题。

算子映射的目标，我总结成三个：

1. 功能等价：映射后的计算结果，和原始算子的计算结果必须一致（或者误差在可接受范围内）。
2. 性能最优：同样的算子，不同的映射方式，性能可能差10倍。我们要找到硬件上跑得最快的那条路。
3. 内存可控：映射过程中不能爆显存。我在项目中遇到过，一个简单的Concat算子，因为映射策略不对，中间结果占用了3倍的显存。

算子映射的挑战

讲完定义，咱们来看看实际落地时有哪些坑。我把它归纳成两大挑战：硬件差异和精度损失。

挑战一：硬件差异

不同NPU的指令集、内存架构、计算单元都不一样。同一个算子，在不同硬件上的映射方式可能完全不同。

举个例子，矩阵乘法算子：

• 在GPU上，可以用Tensor Core指令，一次处理4x4的小矩阵乘法。
• 在华为昇腾NPU上，用的是Cube Unit，一次处理16x16的矩阵乘法。
• 在寒武纪NPU上，又是一种不同的向量指令。

你看，同样是矩阵乘法，映射策略完全不同。这就是为什么算子映射不能写死，必须做成可配置的。

硬件差异具体体现在哪些方面？我列了个表：

差异维度	具体表现	映射时的影响
指令集	支持的算子类型、指令格式不同	需要做指令翻译或组合
数据排布	NCHW vs NHWC vs 自定义排布	可能需要插入数据重排指令
内存对齐	要求128字节或256字节对齐	需要padding或调整内存分配
计算精度	支持FP32/FP16/INT8等	需要做精度转换
并行度	计算单元数量、SIMD宽度	需要做数据切分

挑战二：精度损失

精度损失是算子映射里最头疼的问题之一。为什么会有精度损失？原因主要有三个：

1. 精度转换：框架里用的是FP32，但NPU可能只支持FP16或INT8。从高精度转到低精度，必然有损失。
2. 计算顺序变化：浮点数运算不满足结合律。同样的公式，不同的计算顺序，结果可能不一样。
3. 中间结果截断：NPU的累加器精度可能比输入精度高，但最终结果还是要截断到输出精度。

我举个例子，一个简单的加法：a + b + c。在CPU上，可能是先算a+b，再加c。在NPU上，可能是先算b+c，再加a。如果a、b、c的数值量级差异很大，这两种顺序的结果可能差好几个ulp（unit in the last place）。

精度损失的评估标准，业界常用的是：

• 余弦相似度：映射后的输出和原始输出的向量夹角。一般要求大于0.99。
• 最大绝对误差：单个元素的最大误差。通常要求小于1e-3（FP16场景）或1e-6（FP32场景）。
• 相对误差：误差和原始值的比值。要求小于1%。

知识体系总览

为了让大家更直观地理解算子映射的全貌，我画了一张图：

这张图把算子映射的流程和挑战串起来了。从框架算子出发，经过映射过程，最终生成硬件指令序列。而在这个过程中，硬件差异和精度损失是两个绕不开的坎。