3、算子映射基础：什么是算子映射、映射的层级（图级、层级、指令级）、映射的输入与输出

好，咱们今天聊聊算子映射。说实话，这个概念刚接触时我也觉得有点抽象。但说白了，它就是一道“翻译题”——把AI模型里的各种算子，翻译成NPU能听懂、能高效执行的指令。

我刚开始做算子开发那会儿，总觉得模型能跑起来就行。后来发现，同样的模型，映射得好不好，性能能差出好几倍。嗯，这里面的门道，咱们一点点拆开看。

算子映射，就是把深度学习框架（比如PyTorch、TensorFlow）里的算子，对应到NPU上可执行的算子或指令序列。

举个例子：你在PyTorch里写了个 torch.nn.Conv2d，NPU不认识这个。它认识的是自己硬件里的卷积计算单元、数据搬运指令、累加器操作。算子映射就是做这个“翻译”工作的。

核心要点：映射不是简单的1对1对应。很多时候，一个框架算子会被拆成多个NPU指令，或者多个框架算子合并成一个NPU算子。这取决于硬件架构和性能优化策略。

我个人习惯把算子映射分成三个层次来理解。这样思路清晰，调优时也知道从哪下手。

这三个层级分别是：图级映射、层级映射、指令级映射。它们像俄罗斯套娃，一层套一层，越往下越接近硬件。

图级映射，说白了就是看整个计算图。它关心的是算子之间的连接关系和数据流向。

我在项目中遇到过这样一个场景：一个模型里有连续的Conv+BN+ReLU。如果图级映射做得好，编译器会把这仨合并成一个“融合算子”，直接在NPU上一口气算完，省掉了中间数据的搬运。

图级映射的输入是整个计算图，输出是优化后的子图或算子序列。它主要做这几件事：

我的经验：图级映射是性能优化的第一道关口。我曾经只盯着指令级优化，结果发现图级没做好，后面再怎么调也白搭。先看大图，再抠细节，这个顺序别搞反了。

层级映射，关注的是单个算子怎么映射到NPU的计算单元上。它比图级更细，但还没到指令那么细。

举个例子，一个矩阵乘法算子，在层级映射阶段要决定：

层级映射的输入是单个算子的描述（形状、数据类型、计算逻辑），输出是算子的执行方案——包括数据分块方案、计算单元分配、内存访问模式等。

注意：层级映射最容易踩的坑是数据分块。分块太大，片上内存装不下；分块太小，搬运开销占比太高。我曾经调一个卷积算子，试了十几种分块方案才找到最优解。嗯，这个急不来。

指令级映射，是最底层的映射。它把层级映射生成的执行方案，翻译成NPU能直接执行的指令序列。

这层映射要考虑：

指令级映射的输出，就是NPU的二进制指令流。这部分工作通常由编译器后端完成，但作为算子开发工程师，理解它有助于我们写出更高效的算子实现。

我曾经为了优化一个算子，手动调整了几条指令的顺序，性能提升了15%。你想想看，就几条指令的顺序变化，效果这么明显。这就是指令级映射的魅力。

把三个层级串起来看，映射的输入和输出就很清晰了：

映射层级	输入	输出	我关注的重点
图级映射	完整计算图	优化后的子图/算子序列	算子融合、数据流优化
层级映射	单个算子描述	执行方案（分块、分配）	数据分块、计算单元选择
指令级映射	执行方案	NPU指令序列	指令调度、延迟隐藏

整体来看，算子映射的最终输入是框架模型的计算图，最终输出是NPU可执行的指令流。中间经过三个层级的逐步细化，每一步都在做“翻译”和“优化”。

下面这张图，是我自己画的一个算子映射流程。它把三个层级的关系和输入输出串在了一起，方便你理解整体脉络。

从这张图你能看到，算子映射不是一步到位的。它从粗到细，从整体到局部，每一层都在做优化。我建议你在实际调优时，也按这个顺序来排查问题——先看图级有没有优化空间，再看层级的分块策略，最后才抠指令细节。

一个小建议：刚开始学算子映射时，别急着钻指令级。先把图级和层级搞明白，这两个层面往往决定了80%的性能。指令级是锦上添花，但前面两层是地基。

好了，算子映射的基础就聊到这儿。记住三个层级的关系，理解输入输出，后面咱们再深入每个层级的具体调优技巧。