4. Ethos-U NPU核心特性：支持算子、量化格式、内存带宽、性能指标

Ethos-U系列NPU是Arm针对Cortex-M与Cortex-A平台设计的微架构神经网络加速器，其设计目标并非追求极致的TOPS数值，而是在功耗、面积与实时响应之间取得平衡。理解Ethos-U的核心特性，是完成模型从训练框架到MCU端部署的关键前提。本章将围绕算子支持范围、量化格式约束、内存带宽瓶颈以及性能指标的真实含义展开，帮助开发者建立对NPU硬件能力的准确认知。

上图从三个维度概括了Ethos-U NPU的核心特性。需要特别强调的是，这三个维度并非孤立存在：算子支持决定了模型能否被映射到硬件，量化格式决定了数据在内存中的表示与计算精度，而内存带宽与性能指标则直接决定了实际运行速度。在部署流程中，Vela编译器（Arm官方提供的神经网络编译器）会基于这些硬件约束对模型进行优化与调度，因此开发者必须深入理解这些底层特性，才能有效排查部署问题。

4.1 支持算子范围与硬件映射约束

Ethos-U NPU并非通用处理器，其计算阵列针对卷积神经网络（CNN）中的乘加运算（MAC）进行了专门优化。硬件上，Ethos-U55和Ethos-U65的MAC阵列分别支持128个和256个并行MAC操作（每个周期）。这意味着，只有那些能够被拆解为MAC运算的算子才能获得硬件加速。

从实际支持情况来看，Ethos-U NPU主要覆盖以下算子类别：

• 卷积类：标准2D卷积（CONV2D）、深度可分离卷积（DW-CONV2D）、1x1卷积（本质上是矩阵乘法）、转置卷积（Transpose Conv，需特定配置）。
• 池化类：最大池化（MaxPool）、平均池化（AvgPool），支持2x2、3x3等常见核尺寸。
• 激活类：ReLU、ReLU6、LeakyReLU（仅支持固定alpha值，如0.1或0.01，需在量化时指定）。
• 元素级操作：Add（两个张量相加）、Mul（逐元素乘）、Min、Max、Abs等。
• 数据调整：Reshape（仅限无数据拷贝的视图变换）、Concatenate（沿通道维拼接）、Slice（切片）。

然而，以下常见操作在Ethos-U上不被支持，需要由Cortex-M CPU回退执行：

• Softmax（通常分解为Exp、Sum、Div，但NPU不支持Exp，需CPU计算后通过NPU做ArgMax）。
• LSTM/GRU等循环神经网络单元。
• 自定义激活函数（如Swish、GELU，除非通过分段线性近似并量化为查找表）。
• 涉及动态形状的操作（如非极大值抑制NMS）。

以MobileNetV2为例，其核心结构为反向残差块（Inverted Residual Block），包含1x1卷积、3x3深度可分离卷积和1x1卷积。该结构在Ethos-U上可以完全映射，但需要注意：深度可分离卷积的通道数必须是8的倍数（Ethos-U55的MAC阵列宽度为8），否则会产生填充浪费，降低硬件利用率。

4.2 量化格式：INT8与INT16的权衡

Ethos-U NPU原生支持INT8和INT16两种量化数据类型，但不支持FP32或FP16。这意味着所有浮点模型必须经过量化校准（Post-Training Quantization, PTQ）或量化感知训练（Quantization-Aware Training, QAT）才能部署。

INT8格式是默认推荐格式，其优势在于：

• 内存占用降低75%：权重和激活值均以8位存储，对于1MB SRAM的MCU而言，这是决定性的优势。
• 计算吞吐翻倍：Ethos-U的MAC阵列在INT8模式下每个周期可处理128个MAC（U55），而INT16模式下减半至64个MAC。
• 带宽压力减半：相同数据量下，INT8所需读取的字节数仅为INT16的一半。

INT16格式则用于对精度敏感的场景，例如：

• 语音识别中的MFCC特征提取层。
• 含有较大动态范围的回归任务（如目标检测的边界框回归）。
• 当模型权重分布不均匀，INT8量化导致精度损失超过2%时。

量化参数（Scale和Zero-point）的确定是部署中的核心环节。Vela编译器要求每个张量（包括权重和激活）都附带量化参数。对于权重，推荐使用per-channel量化（即每个输出通道独立计算scale），这能显著减少量化误差；对于激活值，通常使用per-tensor量化（整个张量共享一个scale）。

下表总结了两种量化格式在Ethos-U上的关键差异：

对比维度	INT8	INT16
MAC/周期 (U55)	128	64
权重内存占用	1字节/权重	2字节/权重
典型精度损失	1-3% (ImageNet)	<1%
适用场景	大多数视觉任务	高精度回归/语音
SRAM带宽需求	低	高

4.3 内存带宽：被忽视的性能瓶颈

在MCU级NPU系统中，内存带宽往往比TOPS更能决定实际性能。Ethos-U NPU通过AXI总线与片上SRAM相连，典型工作频率为400MHz（U55）。以U55为例，其理论峰值计算能力为0.5 TOPS（INT8），即每秒5000亿次操作。然而，如果SRAM带宽不足以支撑权重和激活值的持续读取，计算单元将处于空闲等待状态。

以一个典型的3x3卷积层为例：假设输入特征图为32x32x64（INT8），权重为3x3x64x128。计算该层需要：

• 读取输入激活：32x32x64 = 65,536字节
• 读取权重：3x3x64x128 = 73,728字节
• 写入输出激活：32x32x128 = 131,072字节

总计约270KB的数据搬运。在400MHz下，如果SRAM带宽为32位（4字节）/周期，则理论带宽为1.6GB/s。搬运270KB数据需要约169微秒。而该层的计算量（MAC次数）为32x32x128x3x3x64 = 75,497,472次MAC，在0.5 TOPS下计算时间约为151微秒。可以看到，数据搬运时间与计算时间几乎相当，这意味着内存带宽已经接近饱和。

在实际项目中，我们曾遇到一个案例：某关键词唤醒（KWS）模型在Cortex-M7上运行耗时80ms，移植到Ethos-U55后仅需15ms，但进一步优化时发现，模型中的全连接层（FC）占用了40%的推理时间。分析后发现，FC层的权重矩阵为128x128，但NPU的MAC阵列宽度为8，导致权重读取效率极低。解决方案是将FC层重构为1x1卷积，并调整通道数为8的倍数，最终推理时间降至9ms。

4.4 性能指标解读：TOPS、效率与MAC利用率

TOPS（Tera Operations Per Second）是衡量NPU理论峰值性能的常用指标，但实际部署中，MAC利用率（MAC Utilization）才是更关键的指标。MAC利用率定义为：实际完成的MAC次数 / （理论MAC次数 x 运行周期数）。

影响MAC利用率的因素包括：

1. 算子粒度：小尺寸卷积（如1x1）比大尺寸卷积（如7x7）更容易达到高利用率，因为填充开销小。
2. 通道对齐：当输入通道数不是MAC阵列宽度（8或16）的整数倍时，会产生无效计算。
3. 数据依赖：如果模型中存在NPU与CPU交替执行的层，切换时的流水线清空会降低利用率。

以Ethos-U55为例，其官方标称0.5 TOPS是在理想条件下（连续MAC操作、无内存等待）的数值。在真实应用中，Vela编译后的模型通常能达到40%-70%的利用率。对于轻量级模型（如MobileNetV1），利用率可达65%以上；而对于含有大量小算子的模型（如YOLO检测头），利用率可能降至40%以下。

下表给出了不同模型在Ethos-U55上的典型性能参考（基于Arm官方数据及社区实测）：

模型	参数量	MACs (M)	推理时间 (ms)	MAC利用率
MobileNetV1 (224x224)	4.2M	569	~45	~65%
MobileNetV2 (192x192)	3.4M	300	~28	~58%
KWS (DS-CNN)	0.5M	12	~2.5	~45%

需要注意的是，推理时间不仅取决于NPU计算速度，还受到CPU辅助操作（如Softmax、后处理）的影响。在性能调优时，应使用Arm的Cycle模型（Ethos-U55 Cycle Model）进行精确的周期级仿真，该工具可以输出每个算子的MAC利用率、内存等待周期等详细数据。