边缘AI与NPU基础：边缘计算、NPU架构特点与Ethos-U系列性能指标
在讨论模型剪枝技术之前，必须先建立对边缘AI运行环境的准确认知。边缘AI并非简单地将云端模型“缩小”后部署到设备上，而是要在功耗、内存带宽、实时性和成本的多重约束下，寻找可用的计算方案。Arm Ethos-U系列NPU（神经网络处理单元）是专为Cortex-M和Cortex-A系列处理器设计的AI加速器，其架构设计与延迟特性直接决定了模型剪枝策略的边界条件。本章将系统梳理边缘计算的基本范式、NPU与CPU/GPU的本质差异、Ethos-U55与U65的关键指标，以及延迟与吞吐量之间的工程权衡关系。
2.1 边缘计算的核心特征与部署约束
边缘计算将数据处理能力从云端下沉到靠近数据源的位置，其核心价值在于降低端到端延迟、减少网络带宽依赖、增强数据隐私性。在AI推理场景中，边缘设备通常需要以固定帧率处理传感器数据，例如摄像头以30fps采集图像，则单帧推理必须在33ms内完成。这种硬实时要求与云端“尽力而为”的批处理模式有本质区别。
边缘AI部署面临三重约束：功耗约束（电池供电设备通常限制在100mW-2W）、内存约束（Cortex-M系统可用RAM往往只有512KB-2MB）、计算约束（CPU主频有限且无独立GPU）。这些约束决定了模型剪枝不能仅关注参数量减少，更要关注实际推理时的内存访问次数和MAC（乘加运算）数量。
2.2 NPU架构特点：与CPU/GPU的本质差异
CPU采用冯·诺依曼架构，擅长逻辑控制和分支跳转，但并行计算能力有限；GPU采用SIMT（单指令多线程）架构，适合大规模并行计算，但功耗和面积开销大。NPU则采用数据流架构，将神经网络计算映射为固定的硬件流水线，通过深度流水线和数据复用最大化计算效率。
以Ethos-U系列为例，其核心设计包括：
- MAC阵列：由多个8x8或16x16的乘加单元组成，支持int8/int16量化计算，单周期可完成数百次MAC操作。
- 权重解压引擎：硬件支持权重稀疏性，跳过零值权重，减少无效计算。
- 片上内存层次：包含指令SRAM、权重SRAM和激活SRAM，通过DMA与外部DDR交互。
- 指令集：采用VSI（Vela指令集），由Arm Vela编译器将TFLite模型编译为NPU可执行的命令流。
| 特性 | CPU | GPU | Ethos-U NPU |
|---|---|---|---|
| 计算模式 | 标量/向量 | SIMT大规模并行 | 数据流流水线 |
| 典型功耗 | 50mW-5W | 5W-300W | 0.5mW-2W |
| 量化支持 | 软件模拟 | FP16/INT8 | 硬件INT8/INT16 |
| 稀疏性利用 | 不支持 | 有限支持 | 硬件原生支持 |
| 内存带宽需求 | 低 | 极高 | 中等（依赖片上缓冲） |
2.3 Ethos-U55与U65性能指标对比
Ethos-U55面向Cortex-M系列，提供0.5-4 TOPS（每秒万亿次操作）的算力；Ethos-U65则面向Cortex-A系列，支持最高8 TOPS，并增加了对多核扩展的支持。两者均采用Vela编译器进行模型转换，但U65支持更大的模型和更复杂的内存层次。
关键性能指标包括：
- MAC利用率：实际有效MAC数/理论峰值MAC数，受模型结构和数据依赖影响。
- 权重加载时间：从DDR加载权重到片上SRAM的时间，与权重总量成正比。
- 激活内存占用：中间特征图所需SRAM大小，影响模型可部署性。
- 端到端延迟：从输入数据到达NPU到输出结果可用的总时间。
2.4 延迟与吞吐量的关系及剪枝影响
延迟（Latency）指单次推理的耗时，吞吐量（Throughput）指单位时间处理的样本数。在边缘设备上，两者并非简单的倒数关系——当系统以流水线方式运行时，吞吐量由最慢阶段决定，而延迟是所有阶段延迟之和。剪枝对两者的影响也不同：
- 减少权重总量：直接降低权重加载时间，对延迟和吞吐量均有正面影响。
- 减少MAC数量：降低计算时间，但若剪枝导致模型结构不规则，可能降低MAC利用率。
- 减少激活内存：允许更大batch或更复杂的流水线，提升吞吐量。
实际项目中，需要根据应用场景确定优化目标：交互式应用（如语音助手）优先降低延迟，而数据采集类应用（如工业质检）更关注吞吐量。
2.5 案例拆解：智能门锁的人脸识别延迟优化
背景与约束：某智能门锁产品采用Cortex-M55+Ethos-U55方案，需在本地完成人脸检测与识别。硬件约束：NPU主频200MHz，系统可用SRAM 1.5MB，DDR带宽400MB/s。产品要求：从按下门铃到识别完成并开锁的总延迟不超过800ms，其中人脸识别模型推理延迟预算为300ms。
初始状态：使用标准MobileNetV2（alpha=1.0）作为特征提取网络，int8量化后权重3.4MB，激活峰值内存约1.2MB。实测推理延迟420ms，超出预算120ms。
分析过程：通过Vela编译器的profiling工具发现，权重加载时间占180ms（权重3.4MB，实际加载带宽约190MB/s），MAC计算时间占150ms，激活内存访问占90ms。瓶颈在于权重加载——由于权重超过片上SRAM容量，需要分批次加载。
剪枝方案：
- 对最后三个深度可分离卷积层进行通道剪枝，剪除贡献度低于0.01的通道，减少权重约25%。
- 对全连接层进行结构化剪枝，将512维特征压缩至256维。
- 重新量化校准，保持int8精度。
结果对比：剪枝后权重降至2.1MB，激活内存降至0.8MB，实测推理延迟降至260ms，满足300ms预算。识别准确率从98.2%降至97.5%，在可接受范围内。代价是模型需要重新训练约2小时（在云端GPU上），且剪枝后的模型在非结构化稀疏模式下无法利用NPU的稀疏加速，因此采用了结构化剪枝。
2.6 常见误区与总结复盘
误区一：认为参数量减少等同于延迟降低。实际上，若剪枝导致模型结构不规则，NPU的MAC利用率可能下降，计算时间反而增加。
误区二：忽略激活内存的影响。某些模型（如语义分割网络）的激活内存远大于权重，此时应优先优化特征图尺寸而非通道数。
误区三：盲目追求高稀疏度。Ethos-U系列虽然支持权重稀疏性，但稀疏度超过70%后，索引开销会显著增加，收益递减。
总结：在Ethos-U系列NPU上进行模型剪枝，必须遵循“硬件感知”原则：先通过profiling确定瓶颈，再选择剪枝维度（权重总量、MAC数量或激活内存），最后用硬件实测验证效果。延迟与吞吐量的权衡需要结合具体应用场景，没有放之四海而皆准的剪枝比例。