一、算子映射概述

1.1 什么是算子映射

算子映射，说白了就是「把深度学习框架里的算子，翻译成硬件能听懂的语言」。

我刚开始接触这个领域时，觉得这玩意儿不就是个查表翻译吗？后来踩了坑才明白——远没那么简单。

举个例子，你在 PyTorch 里写了个 torch.add(a, b)，GPU 并不知道什么叫「add」。它只知道一堆指令：从显存读数据、送到计算单元、执行加法、写回结果。算子映射要干的，就是把这个高层语义的「加法」，拆解成硬件能执行的底层指令序列。

嗯，这里要注意：映射不是简单的 1:1 翻译。同一个算子，在不同硬件上可能有完全不同的实现方式。我在项目中遇到过，同样的 Conv2D，在 NVIDIA GPU 上用 cuDNN 跑得飞快，换到华为昇腾上就得用 TBE 算子重新实现——性能差距能到 10 倍以上。

1.2 在 AI 编译器中的位置

算子映射处于 AI 编译器的「中间层」。你想想看，整个编译流程大概是这样的：

1. 前端：接收 PyTorch/TensorFlow 的模型，生成计算图
2. 中间层：做图优化、算子融合、内存规划——算子映射就在这里
3. 后端：生成目标硬件的机器码或调用库函数

我个人习惯把 AI 编译器比作一个「翻译公司」：

• 前端是「接单员」，听懂客户（框架）的需求
• 中间层是「项目经理」，把需求拆成可执行的任务——算子映射就是这步
• 后端是「执行团队」，把任务落地到具体硬件

算子映射卡在中间，承上启下。映射得好，整个模型跑得飞起；映射得烂，后面优化再多也白搭。

1.3 映射流程概览

算子映射的流程，我把它拆成 4 步：

1. 算子识别：从计算图中提取算子，确定其类型、输入输出形状、数据类型
2. 硬件匹配：查硬件算子库，看有没有现成的实现（比如 cuDNN 的卷积、MKL 的矩阵乘）
3. 降级拆分：如果没有直接匹配，就把大算子拆成小算子，或者用多个基础算子组合
4. 代码生成：生成目标硬件的调用代码或指令序列

我画了张流程图，帮你直观理解：

这张图里有个关键点——判断分支。为什么会在这里分叉？因为现实世界很少能完美匹配。

我曾经在一个项目里，模型里有个自定义的 FusedBatchNormV3 算子，硬件算子库根本不认识。映射器查了一圈没找到，只能走降级路径——拆成 BatchNorm + Scale + Shift 三个基础算子。结果呢？性能掉了 30%。

1.4 映射的三种模式

根据我的经验，算子映射可以归纳为三种模式：

模式	描述	性能	典型场景
直接映射	算子与硬件库函数一一对应	最优	Conv2D → cuDNN、MatMul → cuBLAS
组合映射	用多个硬件算子组合实现	中等	LayerNorm → Mean + Sub + Div + Mul
降级映射	用通用指令逐元素实现	较差	自定义算子 → 循环 + 标量运算

你想想看，直接映射就像坐高铁——又快又稳。组合映射像换乘——能到但折腾。降级映射就像骑自行车——能走但慢。

嗯，这里要记住一个原则：能直接映射就别组合，能组合就别降级。我在项目中见过有人偷懒，把所有算子都走降级路径——结果一个 ResNet-50 推理延迟从 5ms 飙到 50ms，直接被客户投诉。

1.5 映射的输入输出

最后，咱们理清算子映射的输入输出：

• 输入：计算图中的一个算子节点（包含算子类型、输入张量信息、属性参数）
• 输出：目标硬件上的可执行代码或库函数调用序列

举个简单的代码示例，假设我们要映射一个 ReLU 算子：

// 输入：计算图中的 ReLU 节点
OpNode {
  type: "ReLU",
  inputs: [Tensor(shape=[1, 64, 112, 112], dtype=float32)],
  attrs: {}
}

// 映射过程
1. 识别：ReLU 算子，输入形状 [1,64,112,112]，float32
2. 匹配：查硬件库 → 发现 cuDNN 有 cudnnActivationForward 支持 ReLU
3. 生成：调用 cudnnActivationForward(CUDNN_ACTIVATION_RELU, ...)

// 输出：硬件可执行代码
cuda_kernel_relu<<<grid, block>>>(input, output, N);

这个例子看着简单，但实际项目中，输入输出形状一变，映射策略可能完全不同。比如输入是 4D 还是 5D，float16 还是 float32——都会影响映射决策。

好了，算子映射的概述就讲到这里。记住一句话：映射不是翻译，是适配。后面我们会深入每个环节，看看具体怎么排查性能瓶颈。