NPU算子映射与吞吐压测实战 - 第3节

3. NPU算子概念

大家好，我是你们的讲师。今天咱们聊聊NPU算子。说实话，我刚接触NPU时，也被各种术语绕得头晕。但后来我发现，理解算子就像理解乐高积木——你不需要记住每块积木的尺寸，但必须知道它们能拼出什么。

算子的定义，说白了就是：NPU上执行的一个基本计算单元。它对应着神经网络中的一层操作，比如卷积、矩阵乘、激活函数等。每个算子接收输入张量，经过计算，输出新的张量。

我个人习惯把算子分成三类：

• 计算密集型：Conv2D、MatMul，这类算子吃算力
• 访存密集型：Softmax、LayerNorm，这类算子吃带宽
• 控制密集型：Gather、Scatter，这类算子吃指令调度

嗯，这里要注意：同一个算子在不同NPU上实现可能天差地别。我在项目中遇到过，同样的Conv2D，在A芯片上跑1ms，在B芯片上跑5ms——原因就是硬件对算子的映射方式不同。

二、常见算子类型：你每天都在用它们

2.1 Conv2D（二维卷积）

Conv2D是CNN的绝对主力。它做的事情很简单：用一个滑动窗口（卷积核）在输入特征图上扫一遍，每个位置做点积运算。

// 伪代码：Conv2D核心逻辑
for (int oh = 0; oh < output_height; oh++) {
    for (int ow = 0; ow < output_width; ow++) {
        for (int ic = 0; ic < input_channels; ic++) {
            for (int kh = 0; kh < kernel_height; kh++) {
                for (int kw = 0; kw < kernel_width; kw++) {
                    output[oh][ow][oc] += 
                        input[oh+kh][ow+kw][ic] * 
                        weight[kh][kw][ic][oc];
                }
            }
        }
    }
}

你想想看，这五层循环在NPU上怎么加速？答案就是：数据复用。NPU会把卷积核权重存在片上SRAM，输入数据用DMA搬进来，一次加载多次计算。我曾经调过一个Conv2D算子，把数据复用策略从「按通道切」改成「按空间切」，吞吐直接翻倍。

2.2 MatMul（矩阵乘）

MatMul是Transformer的命根子。Attention里的QKV投影、FFN里的全连接层，全是MatMul。

维度	计算量	访存量	计算密度
M=1024, K=768, N=768	1.2 GFLOPs	6 MB	200 FLOPs/Byte
M=1, K=768, N=768	1.2 MFLOPs	6 MB	0.2 FLOPs/Byte

看到没？batch size=1时，计算密度暴跌1000倍。这就是为什么NPU跑大batch爽，跑小batch卡——访存瓶颈暴露了。

2.3 Softmax（归一化指数函数）

Softmax看起来简单：先求指数，再求和，最后归一化。但它在NPU上有个大坑——数值稳定性。

// 数值稳定的Softmax实现
float softmax(float* x, int n) {
    float max_val = -INFINITY;
    for (int i = 0; i < n; i++) {
        if (x[i] > max_val) max_val = x[i];  // 先找最大值
    }
    float sum = 0.0f;
    for (int i = 0; i < n; i++) {
        sum += expf(x[i] - max_val);  // 减去最大值再求指数
    }
    for (int i = 0; i < n; i++) {
        x[i] = expf(x[i] - max_val) / sum;
    }
}

为什么先减最大值？因为exp(1000)会溢出，但exp(0)=1。这个技巧在NPU上尤其重要——NPU的浮点精度往往不如GPU，溢出后直接出NaN。

2.4 ReLU（线性整流单元）

ReLU是激活函数里的「老实人」：大于0保留，小于0变0。实现简单到令人发指：

// ReLU：一行代码搞定
output[i] = (input[i] > 0) ? input[i] : 0;

但别小看它。ReLU在NPU上有个隐藏问题：死区效应。如果输入分布偏负，大量输出为0，导致梯度消失。我见过一个模型，训练时好好的，部署到NPU上精度崩了——就是因为NPU的ReLU实现用了低精度计算，把一些很小的正数也截成了0。

三、算子融合：把多个小积木拼成一个大模块

算子融合，说白了就是把多个连续算子合并成一个。为什么要这么做？

• 减少访存：原来每个算子都要读写DDR，融合后中间结果留在片上
• 减少启动开销：每个算子启动都要几十微秒，融合后只启动一次
• 提高计算密度：融合后的算子有更多计算可以塞满计算单元

常见的融合模式：

融合模式	原始算子序列	融合后算子	收益
Conv+BN+ReLU	Conv2D → BatchNorm → ReLU	Conv2D_BN_ReLU	减少2次访存，减少1次启动
MatMul+Add+Softmax	MatMul → Add → Softmax	Attention_Score	减少1次访存，减少1次启动
LayerNorm+Add+ReLU	LayerNorm → Add → ReLU	FFN_Block	减少2次访存，减少1次启动

我记得有一次，为了压榨NPU性能，我把一个Transformer的12个算子手工融合成3个。结果吞吐提升了40%，但调试了整整两天——因为融合后的算子边界条件太难算了。嗯，后来我学乖了，先用工具自动分析融合可行性，再手工微调。

四、知识体系总览

下面这张图，是我自己总结的NPU算子知识框架。你可以把它当作学习路线图：

这张图把本章内容串起来了。你从「NPU算子」出发，左边理解定义，中间熟悉类型，右边掌握融合原理。最后所有知识都指向一个目标：让计算单元不饿着，让数据搬运不堵着。