第2章：算子概念精讲
大家好，我是你们的老朋友。今天咱们聊聊算子——这个在NPU开发中天天打交道的概念。
说实话，我刚入行那会儿，觉得算子就是个黑盒子。输入数据进去，输出结果出来，中间发生了什么？嗯，后来踩了不少坑才明白，理解算子才是性能调优的第一步。
2.1 什么是算子？
算子，英文叫Operator，简称Op。说白了，就是神经网络中的一个基本计算单元。
你可以把它想象成乐高积木里的一个模块。卷积是一个模块，池化是一个模块，全连接也是一个模块。整个神经网络，就是由这些模块拼装起来的。
我个人习惯把算子分成三类：
- 计算密集型算子：比如卷积、全连接，算力消耗大户
- 访存密集型算子：比如池化、拼接，数据搬来搬去
- 控制密集型算子：比如激活函数、条件判断，逻辑简单但分支多
为什么要这么分？因为NPU对不同类型的算子，优化策略完全不同。我在项目中遇到过，有人把卷积优化得飞起，结果池化层成了瓶颈，整个模型推理速度还是上不去。
核心要点：算子的本质是数学运算 + 数据流管理。理解了这个，你才能看懂NPU的硬件设计。
2.2 常见算子分类
咱们一个一个来看。我会结合我在实际项目中的经验，讲讲每个算子的特点。
2.2.1 卷积算子
卷积是神经网络里最核心的算子，没有之一。它做的事情很简单：用一个小的窗口（卷积核）在输入数据上滑动，做点积运算。
但简单背后有门道。卷积的计算量有多大？我给你算一笔账：
// 假设输入是 224x224x3，卷积核是 3x3x64
// 一次卷积的计算量 = 3x3x3 = 27 次乘加
// 输出特征图大小 = 224x224x64
// 总计算量 = 27 x 224 x 224 x 64 ≈ 86.7M 次乘加86.7M次运算，就为了提取一张图片的特征。你想想看，一个ResNet-50有50层，总计算量接近4G次。这就是为什么NPU要专门设计卷积加速器。
我曾经在一个项目中，发现卷积算子的利用率只有30%。排查下来，是数据排布的问题——NPU的DDR带宽被浪费了。后来调整了数据布局，利用率直接飙到85%。
我的经验：卷积优化的核心是数据复用。尽量让数据在片上SRAM里多待一会儿，别频繁往DDR里搬。
2.2.2 池化算子
池化，说白了就是降采样。常见的池化有最大池化和平均池化。
池化算子的计算量不大，但它有个特点：访存模式很特殊。比如2x2最大池化，每次要读4个数据，写1个数据。如果数据排布不好，会导致严重的bank冲突。
我记得有一次调试一个模型，池化层占了总时间的15%。按理说池化计算量很小，不应该啊。后来发现是NPU的DMA配置有问题，每次池化都要重新加载数据。优化后，池化时间降到了3%。
| 池化类型 | 计算量 | 访存特点 | 优化重点 |
|---|---|---|---|
| 最大池化 | 低 | 随机读取 | 数据对齐 |
| 平均池化 | 低 | 连续读取 | 流水线设计 |
| 全局池化 | 极低 | 全特征图 | DMA带宽 |
2.2.3 全连接算子
全连接，也叫线性层。它的本质就是矩阵乘法：y = Wx + b。
全连接算子的特点是：计算密度极高，但参数也极多。一个全连接层可能有几百万个参数，占模型总大小的80%以上。
我建议你在部署模型时，重点关注全连接层的量化。因为全连接对精度非常敏感，量化做不好，模型精度会掉得很厉害。我曾经踩过这个坑，一个分类模型，全连接层用INT8量化后，准确率从95%掉到了82%。后来改用混合精度，才把准确率拉回到93%。
避坑指南：全连接层的权重矩阵，尽量保证行连续存储。NPU的向量单元对连续数据有专门的加速指令，能提升2-3倍的性能。
2.2.4 激活函数
激活函数是非线性变换。常见的激活函数有ReLU、Sigmoid、Tanh等。
激活函数的计算量很小，但它的重要性被很多人低估了。为什么？因为激活函数决定了网络的表达能力。没有激活函数，再深的网络也只是线性变换的叠加。
在NPU上实现激活函数，有个技巧：尽量用查表法。比如ReLU，其实就是判断正负，用硬件比较器就能实现。但Sigmoid和Tanh，计算复杂，用查表法能省很多时间。
我做过一个测试：用查表法实现Sigmoid，比直接计算快了8倍，精度损失不到0.1%。
2.3 算子在神经网络中的角色
理解了单个算子，咱们再看看它们怎么配合。
一个典型的卷积神经网络，流程是这样的：
- 卷积层：提取特征，生成特征图
- 激活函数：引入非线性，增强表达能力
- 池化层：降采样，减少计算量
- 全连接层：分类或回归，输出结果
但实际项目中，算子之间的配合远比这个复杂。比如MobileNet用了深度可分离卷积，把标准卷积拆成了深度卷积和逐点卷积。这种拆分，对NPU的硬件设计提出了新要求。
我画了一张图，帮你理解算子之间的关系：
从这张图你能看到，数据在算子之间流动，每个算子完成特定的任务。但实际部署时，算子之间还有数据格式转换、内存管理、流水线调度等问题。
嗯，这里要注意：算子不是孤立存在的。你在优化一个算子时，一定要考虑它上下游的算子。比如卷积后面跟着ReLU，你可以把ReLU融合进卷积的计算中，省掉一次数据搬运。
核心观点：算子映射到NPU上，不是简单的1:1对应。很多时候需要算子融合、拆分、重排，才能发挥NPU的硬件性能。
2.4 小结
今天咱们讲了算子的基本概念，以及四种常见算子的特点。我分享了一些实际项目中的经验，希望能帮你少走弯路。
记住一句话：理解算子，是NPU性能调优的起点。你只有知道每个算子怎么算、怎么访存、怎么优化，才能写出高效的算子映射代码。
下一章，咱们会深入讲算子映射的具体方法。到时候我会带你看一个完整的案例，从算法到硬件，一步步拆解。