3. 算子映射基础：什么是算子映射、映射的挑战（硬件异构性）、映射策略概览
好，咱们今天聊聊算子映射。说实话，这个概念刚入行的时候我也觉得挺玄乎的。说白了，算子映射就是把你写的神经网络里的那些算子——卷积、池化、全连接这些——给安排到具体的硬件单元上去执行。
你想想看，你写模型的时候用的是PyTorch或者TensorFlow，里面一个Conv2d就完事了。但到了芯片上，你得告诉它：这个卷积用哪个计算单元？数据从哪搬？算完放哪？这就是映射要干的事。
3.1 什么是算子映射
我习惯这么定义：算子映射是将计算图中的算子节点，分配到硬件计算资源上的过程。它决定了每个算子在哪算、怎么算、数据怎么流动。
举个例子，一个简单的卷积层：
# 伪代码：算子映射前的描述
op: Conv2d
input: feature_map (64x64x3)
kernel: 3x3x3x16
stride: 1
padding: same
# 映射后的硬件指令
MAC_unit[0:15] <- load_weight(kernel[0:15])
MAC_unit[0:15] <- load_input(feature_map[0:32, 0:32, :])
MAC_unit[0:15] <- compute_conv()
store_output(partial_sum[0:15])我在项目中遇到过一种情况：同一个算子，在不同芯片上映射方式完全不同。比如在GPU上，卷积可能映射到Tensor Core；在NPU上，可能映射到脉动阵列；在CPU上，那就只能走通用ALU了。这就是映射的多样性。
核心要点：算子映射不是简单的"一一对应"，而是一个多维度的决策过程。它涉及计算资源分配、数据搬运调度、存储层次利用等多个方面。
3.2 映射的挑战：硬件异构性
为什么映射这么难？说白了，就是硬件太"个性"了。每个芯片都有自己的脾气。
我给大家画个图，看看典型的AI芯片内部长什么样：
看到没？一个芯片里可能有多种计算单元。每种单元擅长的东西不一样：
- MAC阵列：适合规则的大矩阵乘法，比如卷积
- 向量单元：适合element-wise操作，比如激活函数、归一化
- 稀疏加速器：专门处理稀疏矩阵，省带宽省功耗
我记得有一次调试一个模型，发现同样的卷积层，在MAC阵列上跑只要2ms，但编译器给映射到了向量单元，结果跑了15ms。这就是映射没选对地方。
避坑指南：我曾经遇到过一个问题——某个算子理论上支持多种映射方式，但实际跑起来性能差异巨大。后来发现是数据排布问题。MAC阵列要求数据按NHWC排布，而向量单元更喜欢NCHW。映射时如果没考虑数据排布转换的开销，性能直接打对折。
3.3 映射策略概览
好，那面对这么复杂的硬件，我们怎么决定每个算子映射到哪？我总结了几种常用策略：
3.3.1 基于规则的映射
这是最直接的方法。提前定义好规则：
// 规则示例
if (op.type == Conv2d && kernel_size <= 3) {
map_to(MAC_array);
} else if (op.type == Relu || op.type == BatchNorm) {
map_to(Vector_unit);
} else if (sparsity_ratio > 0.7) {
map_to(Sparse_accelerator);
} else {
map_to(CPU_fallback);
}这种方法简单粗暴，适合硬件结构固定的场景。但缺点也很明显——不够灵活。我在一个项目里试过，规则写死了，换了个模型结构，性能就崩了。
3.3.2 基于代价模型的映射
这个方法更科学。我们给每种映射方式建一个代价函数：
| 映射目标 | 计算延迟(us) | 数据搬运开销(us) | 功耗(mW) | 综合代价 |
|---|---|---|---|---|
| MAC阵列 | 2.1 | 0.8 | 45 | 3.2 |
| 向量单元 | 5.3 | 0.3 | 28 | 5.8 |
| 稀疏加速器 | 1.5 | 1.2 | 32 | 3.9 |
| CPU回退 | 12.0 | 0.1 | 15 | 12.2 |
然后选代价最小的那个。你想想看，这其实就是一个优化问题。我习惯把代价模型拆成三部分：
- 计算代价：算这个算子要多久
- 数据搬运代价：把数据从存储搬到计算单元要多久
- 同步代价：不同计算单元之间同步的开销
个人经验：代价模型里最容易忽略的是数据搬运代价。我见过一个案例，明明计算代价很低，但数据要从DDR搬过来，来回几百个cycle，最后总延迟反而更高。所以映射时一定要把数据局部性考虑进去。
3.3.3 基于搜索的映射
这个方法更高级。把映射问题建模成一个搜索问题，用算法自动找最优解。常用的搜索方法有：
- 动态规划：把计算图分段，每段找最优映射
- 强化学习：让模型自己学，什么情况下该映射到哪
- 遗传算法：生成一堆候选映射方案，交叉变异，迭代优化
说实话，搜索方法效果好，但代价也大。我参与过一个项目，用强化学习做映射搜索，训练了三天才收敛。不过一旦训练好，换模型时直接推理就行，速度很快。
3.3.4 混合策略
实际工程中，我很少只用一种策略。通常的做法是：
// 混合映射策略伪代码
function map_operator(op, hardware_info):
// 第一步：快速规则匹配
if op in fast_rules:
return apply_rule(op, fast_rules)
// 第二步：代价模型评估
candidates = get_all_mapping_options(op)
costs = [cost_model(opt) for opt in candidates]
// 第三步：如果候选方案太多，用搜索
if len(candidates) > THRESHOLD:
best = search_best(candidates, costs)
else:
best = min(costs)
return best嗯，这里要注意：混合策略的关键是"快慢结合"。常见的算子用规则快速映射，复杂的算子用代价模型或搜索慢慢算。
核心总结：算子映射没有银弹。不同的硬件、不同的模型、不同的性能目标，需要不同的策略。我个人的建议是：先搭一套基于规则的快速原型，跑通流程；然后针对热点算子，用代价模型精调；最后如果还有余力，上搜索方法找全局最优。
好了，这一章的内容就到这。映射是个实践性很强的工作，光看理论不够，建议大家找块实际的芯片，动手试试不同映射策略的效果。你会发现，同样的算子，映射方式不同，性能差个几倍都是常事。
想要更多资料，联系可可