1. NPU基础与算子融合概述

1.1 NPU架构简介——它到底长什么样？

先聊聊NPU的架构。说实话，我第一次接触NPU时，觉得它就是个“大号矩阵乘法器”。后来做项目久了才发现，这个理解虽然粗暴，但抓住了核心。

NPU，也就是神经网络处理器，它的设计目标很纯粹——加速深度学习中的张量运算。跟CPU那种“什么都能干”的通用架构不同，NPU是“专才”。

典型的NPU内部包含这几个关键模块：

• 计算单元（Compute Array）：通常是脉动阵列（Systolic Array）或SIMD单元。我见过最多的配置是16x16到128x128的MAC阵列。说白了，就是一堆乘法累加器排成方阵，专门干矩阵乘法。
• 片上存储（On-Chip Buffer）：包括全局缓冲区（Global Buffer）和本地寄存器。嗯，这里有个坑——片上存储的大小直接决定了你能融合多少算子。我在一个项目中就吃过亏，当时没算好buffer容量，融合后的中间结果放不下，性能反而下降了。
• 数据搬运单元（DMA）：负责把数据从DDR搬到片上，或者反过来。这个模块的带宽往往是整个推理的瓶颈。
• 控制单元（Controller）：调度指令，控制数据流。

你想想看，NPU的架构设计其实就围绕一个核心问题：怎么让计算单元一直满负荷运转，别闲着。而算子融合，正是解决这个问题的关键手段之一。

1.2 算子融合的定义与动机——为什么要费这个劲？

算子融合，说白了就是把多个连续的算子合并成一个。比如Conv+BN+ReLU，原本要三步走，融合后一步到位。

动机其实很直接：

1. 减少访存次数：每个算子执行完，中间结果要写回DDR。融合后，中间结果留在片上，省掉了读写。我在一个MobileNet的部署项目中做过统计，融合后访存量减少了40%以上。
2. 减少kernel launch开销：每个算子在NPU上启动都需要时间。融合后，启动次数变少，延迟自然降低。
3. 利用计算局部性：融合后的算子可以更好地利用片上buffer，减少数据搬运的等待时间。

举个例子，Conv+BN+ReLU这个经典组合：

// 融合前：三步走
conv_output = conv(input, weight, bias)
bn_output = batch_norm(conv_output, gamma, beta, mean, var)
relu_output = relu(bn_output)

// 融合后：一步到位
// 把BN的系数融合到Conv的weight和bias中
weight_fused = weight * gamma / sqrt(var + eps)
bias_fused = (bias - mean) * gamma / sqrt(var + eps) + beta
output = relu(conv(input, weight_fused, bias_fused))

你看，融合后不仅省掉了BN和ReLU的单独计算，还省掉了中间结果的读写。我刚开始做这个优化时，觉得BN融合只是个小技巧，后来发现它几乎是所有推理框架的标配。

1.3 融合带来的性能收益分析——到底能快多少？

这个问题，我建议用数据说话。下面这张表是我在一个实际项目中统计的，模型是ResNet-50，NPU是某款主流芯片：

融合策略	访存量减少	延迟降低	备注
无融合	0%	0%	基线
Conv+BN融合	18%	12%	最基础的融合
Conv+BN+ReLU融合	25%	18%	常用组合
Conv+BN+ReLU+Add融合	35%	28%	ResNet中的残差结构
全图融合（含所有可融合算子）	52%	41%	需要编译器支持

为什么会这样？我解释一下背后的原理。

NPU的计算单元通常很快，但数据搬运很慢。你想想看，从DDR读一次数据可能要几百个cycle，而一次MAC运算只要一个cycle。所以，减少访存就是减少等待。

融合后的算子，中间数据留在片上buffer里。比如Conv的输出直接喂给ReLU，不需要写回DDR再读出来。这一来一回，省掉的就是几百个cycle的延迟。

我记得有一次，我在调试一个YOLOv5的部署。当时发现某个算子的计算时间只有2ms，但前后数据搬运花了8ms。嗯，这就是典型的“计算快、搬运慢”场景。后来通过算子融合，把搬运时间降到了3ms，整体延迟从15ms降到了9ms。

1.4 本章知识体系——一张图看懂

下面这张图，是我自己总结的NPU算子融合的核心逻辑。你看完应该能对整个知识框架有个直观认识。

这张图把本章的核心逻辑串起来了：从NPU架构的瓶颈出发，引出算子融合的定义，再到融合的动机，最后落到性能收益。说白了，整个推理加速的起点，就是理解“数据搬运比计算慢”这个事实。