2、边缘AI与NPU基础：掌握边缘计算、嵌入式AI、NPU与CPU/GPU的差异，理解Ethos-U在MCU级设备中的角色
在部署图像分类模型之前，我们必须先厘清一个根本问题：为什么在MCU级设备上运行AI模型如此困难，而Arm Ethos-U系列NPU又是如何破解这一难题的？本章将从边缘计算的本质出发，逐步拆解嵌入式AI的算力约束，对比NPU与CPU/GPU在架构上的根本差异，最后定位Ethos-U在MCU生态中的独特价值。理解这些基础概念，将直接决定你在后续章节中如何选择模型、如何配置算子、如何评估性能瓶颈。
2.1 边缘计算与嵌入式AI的算力约束
核心原理：边缘计算（Edge Computing）的核心思想是将数据处理能力下沉到数据产生源头附近，而非全部依赖云端。在AI推理场景中，这意味着模型需要在靠近传感器的设备上完成前向传播计算。嵌入式AI（TinyML）则是这一思想在极端资源受限设备上的实践——MCU通常只有几十KB到几MB的RAM，主频在几十MHz到几百MHz之间，且往往没有操作系统或仅有轻量级RTOS。
这种环境下的算力约束是多重叠加的：功耗墙（电池供电设备通常只能承受毫瓦级功耗）、存储墙（模型权重和中间特征图必须塞进有限的SRAM）、带宽墙（内存访问速度远低于计算速度）。以经典的MobileNetV1为例，其1.0版本需要约570万次乘加运算（MACs），在Cortex-M7上以300MHz运行，仅计算就需要约200ms以上，且内存占用超过1MB——这已经超出了多数MCU的承受范围。
| 约束维度 | 典型MCU指标 | 对AI推理的影响 |
|---|---|---|
| 算力 | 10~500 MACs/cycle | 推理延迟直接受限于MAC吞吐 |
| 内存 | 64KB~2MB SRAM | 模型权重需量化压缩，特征图需复用 |
| 功耗 | 1mW~1W | 无法使用高频CPU或外部GPU |
| 带宽 | 32~64位总线 | 权重加载成为瓶颈，需数据复用 |
判断方法：评估一个MCU能否运行某模型，不能只看算力，必须同时核算峰值MAC吞吐、权重存储需求、中间特征图峰值内存三个指标。例如，一个8位量化的MobileNetV2（alpha=0.35）大约需要300KB权重和约200KB特征图，这已经逼近多数MCU的极限。
2.2 NPU与CPU/GPU的架构差异
核心原理：CPU（中央处理器）设计目标是通用性，其核心是控制逻辑和缓存，擅长分支跳转和复杂指令流。GPU（图形处理器）设计目标是高吞吐并行计算，拥有数千个简单计算核心，适合大规模矩阵运算，但功耗极高。NPU（神经网络处理单元）则完全不同——它针对神经网络的计算模式（大量乘加、数据复用、非线性激活）做了专用硬件设计。
Ethos-U系列NPU采用脉动阵列（Systolic Array）架构，这是其与CPU/GPU最本质的区别。脉动阵列由一组规则排列的乘加单元（MAC）组成，数据像血液一样在阵列中“脉动”流动，每个MAC单元只与相邻单元通信，极大减少了数据搬运开销。以Ethos-U55为例，其128个MAC的配置在500MHz下可提供约64 GOPS的算力，而功耗仅约0.5W——能效比远高于同级别的Cortex-M7 CPU。
| 对比维度 | Cortex-M7 CPU | GPU（如Mali-G52） | Ethos-U55 NPU |
|---|---|---|---|
| 核心架构 | 单核/双核，超标量 | 数百个流处理器 | 脉动阵列（128~256 MAC） |
| 典型算力 | ~2 GOPS @300MHz | ~100 GOPS @1GHz | ~64 GOPS @500MHz |
| 功耗 | ~100mW | ~2W | ~0.5W |
| 能效比 | ~20 GOPS/W | ~50 GOPS/W | ~128 GOPS/W |
| 适用场景 | 控制流、预处理 | 图形渲染、大模型训练 | CNN推理加速 |
判断方法：选择NPU而非CPU/GPU的关键判断标准是：模型是否以卷积/全连接层为主，且是否需要极低延迟和功耗。如果模型包含大量自定义算子、动态形状或复杂控制流，NPU可能无法高效处理，此时CPU反而更合适。Ethos-U支持常见的CNN算子（Conv2D、DepthwiseConv2D、Pooling、FullyConnected等），但像LSTM、Transformer这类序列模型支持有限。
2.3 Ethos-U在MCU级设备中的角色定位
核心原理：Ethos-U并不是替代CPU，而是作为Cortex-M的协处理器存在。在典型的MCU系统中，Cortex-M负责运行应用程序逻辑、传感器数据采集、预处理（如图像缩放、色彩空间转换）、后处理（如softmax、结果解析），而Ethos-U专门负责计算密集型的神经网络推理。两者通过AXI总线连接，CPU通过寄存器接口向NPU下发指令和内存地址，NPU完成后通过中断通知CPU。
这种分工模式的优势在于：CPU可以继续处理实时性要求高的任务（如电机控制、通信协议），而NPU并行执行AI推理，实现真正的异构计算。以Arm Corstone-300为例，其集成了Cortex-M55和Ethos-U55，M55主频400MHz，U55主频400MHz，两者协同工作可实现接近实时的图像分类（如MobileNetV2约10ms/帧）。
操作流程：在Ethos-U上部署模型的标准流程如下：
- 使用TensorFlow或PyTorch训练模型，并导出为TFLite格式。
- 使用Vela编译器将TFLite模型编译为Ethos-U可执行的二进制文件（.vela）。
- 将编译后的模型与应用程序代码一起烧录到MCU Flash中。
- 运行时，CPU初始化NPU驱动，加载模型权重到SRAM，然后触发推理。
- NPU执行推理，完成后通过中断或轮询方式通知CPU读取结果。
# 使用Vela编译TFLite模型（示例命令）
vela --accelerator-config=ethos-u55-128 \
--optimise-for-size \
--config=my_config.ini \
model_mobilenetv2_quant.tflite案例拆解：假设我们要在基于Corstone-300的智能门锁上部署人脸检测模型。系统约束：电池供电，待机功耗需低于10mW，人脸检测延迟需小于200ms。初始方案使用Cortex-M55直接运行量化后的MobileNetV2，实测延迟约350ms，功耗约80mW——无法满足要求。分析发现瓶颈在卷积层的MAC计算上，CPU的标量计算效率太低。
改用Ethos-U55加速后，将卷积层全部映射到NPU执行，CPU仅负责图像预处理（将RGB图像从320×240缩放到96×96）和结果解析。实测延迟降至85ms，功耗降至25mW，满足设计要求。关键参数对比：CPU方案MAC利用率仅约15%，NPU方案MAC利用率达78%；内存占用从450KB降至280KB（因为NPU的权重存储更紧凑）。
复盘经验：这个案例揭示了三个关键点：第一，NPU的加速效果取决于MAC利用率，而利用率又受模型结构和数据排布影响；第二，CPU与NPU的任务划分至关重要，预处理和后处理留在CPU，纯计算交给NPU；第三，量化精度直接影响NPU性能，8位量化比16位量化快约2倍，但需验证精度损失。