三、端侧AI硬件基础：MCU、NPU、DSP、GPU等处理器架构，内存与存储限制，功耗约束
端侧AI部署的物理基础是硬件。无论是几十毫瓦的耳机芯片，还是几瓦的智能摄像头SoC，模型推理的延迟、吞吐量和能效都直接由处理器架构、存储层次和功耗预算决定。理解这些硬件的底层约束，是进行模型压缩、算子选择和推理引擎调优的前提。本章将剖析MCU、NPU、DSP、GPU四类典型计算单元的本质差异，梳理端侧内存与存储的瓶颈，并建立以功耗为第一设计约束的工程思维。
上图展示了端侧AI部署中四类计算单元与两大核心约束（内存/存储、功耗）的整体关系。实际项目选型时，并非追求单一指标最强，而是在功耗、成本、算力和生态之间寻找平衡点。下面逐一深入分析。
3.1 处理器架构：MCU、NPU、DSP、GPU的定位与选型
核心原理：不同架构的算力本质
MCU（微控制器）以ARM Cortex-M系列为代表，采用冯·诺依曼或哈佛结构，主频通常在几十MHz到几百MHz。其核心优势在于低功耗、高实时性和丰富的外设接口。在AI推理中，MCU依赖CPU核的SIMD指令（如ARM的DSP扩展、Helium M-profile向量扩展）进行加速。由于没有独立的大算力加速器，MCU适合运行参数量在1MB以内、运算量在几十MMACs的轻量级模型（如TinyML基准中的关键字唤醒、手势识别）。
NPU（神经网络处理单元）是专为矩阵乘法和卷积设计的ASIC。其内部包含大量MAC（乘加）单元阵列、片上SRAM缓冲和专用的数据流控制逻辑。NPU的算力密度极高，例如恒玄、炬芯等TWS耳机芯片中的NPU可提供0.1~1 TOPS算力，而手机SoC中的NPU（如高通Hexagon、联发科APU）可达10~30 TOPS。NPU通常只支持INT8/INT16量化格式，对激活函数和池化等非矩阵运算支持有限，需要CPU配合。
DSP（数字信号处理器）擅长流式信号处理，如FFT、FIR滤波、音频编解码。在AI部署中，DSP常被用于预处理（语音增强、图像降噪）和部分小模型的推理。其VLIW（超长指令字）或SIMD架构在向量运算上效率高于MCU，但低于NPU。例如，在Cortex-M55中集成的Helium DSP扩展，可将音频特征提取速度提升3~5倍。
GPU（图形处理器）在端侧主要存在于手机SoC和部分高端机器人平台。其SIMT（单指令多线程）架构适合大规模并行计算，但功耗较高（2~10W）。在端侧AI中，GPU通常用于需要高吞吐量的场景，如视频流实时分割、AR特效。由于端侧GPU的驱动和内存管理开销较大，对于延迟敏感的小模型，NPU往往是更优选择。
判断方法：根据模型特性选择计算单元
| 模型/场景特征 | 推荐架构 | 关键理由 |
|---|---|---|
| 参数量 < 500KB，延迟 < 10ms | MCU + DSP扩展 | 无需外部DRAM，启动快，功耗极低 |
| CNN/Transformer，INT8量化，批量1 | NPU | MAC利用率高，能效比最优 |
| 音频流式处理，需FFT/滤波 | DSP | 专用指令，低延迟流水线 |
| 大模型（>100MB），需FP16精度 | GPU | 高带宽，通用计算能力强 |
| 混合任务（语音+视觉+传感器） | 异构（MCU+NPU+DSP） | 各取所长，动态调度 |
案例拆解：TWS耳机中的唤醒词检测
以某款TWS耳机芯片（集成Cortex-M4F + 小型NPU）为例。初始方案将2MB的DNN模型直接部署在MCU上，推理延迟为45ms，功耗达到8mA，导致耳机续航缩短30%。分析后发现，模型包含大量3x3卷积，MCU的MAC利用率仅40%。
优化操作：
1. 将模型量化至INT8，并裁剪至800KB；
2. 将前3层卷积和全连接层映射到NPU，其余层留在MCU；
3. 使用CMSIS-NN优化MCU端的矩阵乘法。
结果：推理延迟降至12ms，整体功耗降至2.5mA，续航恢复至原水平。复盘经验：不要将所有算子都塞进NPU，小算子的调度开销可能抵消加速收益。
常见误区与总结
- 误区1：认为NPU一定比MCU快。对于3x3、1x1卷积占比低的模型（如LSTM），NPU的利用率可能低于30%，而MCU的灵活调度反而更快。
- 误区2：忽略DSP的预处理能力。在语音唤醒中，MFCC特征提取在DSP上运行可节省MCU 30%的算力。
- 误区3：GPU是端侧AI的万能解。实际上，GPU的初始化延迟（约50~200ms）和功耗峰值不适合始终在线（Always-on）场景。
3.2 内存与存储限制：SRAM、PSRAM、Flash的容量与带宽博弈
核心原理：存储层次与数据搬运成本
端侧AI的内存系统通常分为三层：片上SRAM（速度最快，容量最小，通常256KB~4MB）、片外PSRAM/DRAM（容量8MB~2GB，带宽受限于总线频率）、非易失Flash（存放模型权重和代码，读取速度慢）。AI推理时，权重和中间激活值需要从Flash加载到SRAM/DRAM，再送入计算单元。数据搬运的能耗远高于计算本身——在28nm工艺下，一次32bit DRAM访问的能耗是MAC运算的200倍。
判断方法：内存预算计算与优化策略
- 计算峰值内存占用：模型权重（INT8）+ 最大中间激活张量 + 推理引擎运行时开销（通常预留20%）。
- 评估Flash读取带宽：若Flash为QSPI接口（40MHz，4线），理论带宽约20MB/s，加载1MB权重需50ms，这往往成为延迟瓶颈。
- 采用内存复用技术：将激活张量的内存池化，避免重复分配；使用算子融合（如Conv+ReLU）减少中间结果的写回。
案例拆解：智能摄像头的人脸检测模型部署
某IPC（网络摄像头）SoC拥有1MB SRAM和64MB DDR3。初始部署一个YOLOv5s（INT8，14MB权重）模型，推理时频繁访问DDR，导致帧率仅8FPS，且DDR带宽占用率达70%，影响视频编码。
优化步骤：
1. 将模型剪枝至8MB，并采用4bit混合量化（前两层保持INT8）；
2. 将前5层卷积的权重常驻SRAM（约300KB），减少DDR访问；
3. 使用DMA双缓冲技术，预取下一帧的输入数据。
结果：帧率提升至25FPS，DDR带宽占用降至35%。
代价：模型精度从mAP 0.72降至0.68，但满足项目阈值。复盘：内存优化的本质是用计算换带宽，例如将大卷积拆分为小卷积以减少中间激活的存储。
常见误区与总结
- 误区1：只关注RAM容量，忽略Flash读取速度。对于小模型，Flash加载时间可能占总延迟的50%以上。
- 误区2：认为PSRAM（伪SRAM）与SRAM性能相同。PSRAM的随机访问延迟是SRAM的5~10倍，且需要刷新周期。
- 误区3：忽视内存对齐。ARM Cortex-M7等内核要求4字节对齐，否则会触发异常或性能下降。
3.3 功耗约束：从电池寿命到热设计
核心原理：功耗的构成与动态管理
端侧AI的功耗由三部分构成：计算功耗（动态功耗 = 电容 × 电压² × 频率）、存储访问功耗（SRAM/DRAM读写）、静态功耗（漏电流）。在电池供电设备中，平均功耗直接决定续航；在插电设备中，峰值功耗决定散热成本。例如，一颗0.5 TOPS的NPU在28nm工艺下，满负荷运行功耗约200mW，而待机功耗仅1mW。因此，功耗优化的核心是减少无效计算和数据搬运。
判断方法：功耗预算分配与降耗手段
| 设备类型 | 总功耗预算 | AI推理允许功耗 | 典型降耗手段 |
|---|---|---|---|
| 无源RFID标签 | 10μW | 1μW | 模拟计算，无ADC |
| 助听器 | 1mW | 0.3mW | 专用低功耗DSP，稀疏化 |
| 智能手表 | 50mW | 10mW | NPU+MCU异构，动态电压频率调节 |
| 智能音箱 | 2W | 500mW | 唤醒词在MCU，大模型在云端 |
案例拆解：智能门锁的人脸识别功耗优化
一款使用4节AA电池的智能门锁，要求待机2年，每次人脸识别功耗不超过5J。初始方案采用1.2GHz Cortex-A53 + 0.5 TOPS NPU，识别一次耗时800ms，平均功耗3W，单次能耗2.4J，看似满足，但待机时A53漏电导致整机待机电流达2mA，电池仅能维持4个月。
优化方案：
1. 增加一颗Cortex-M0+协处理器，负责人体感应和图像传感器唤醒；
2. 人脸检测模型（MobileNetV2）运行在NPU上，但NPU仅在检测到人体后上电；
3. 将A53主频降至800MHz，并采用快速启动（<100ms）。
结果：待机电流降至50μA，单次识别能耗降至1.8J，电池寿命恢复至2年。复盘：功耗优化必须从系统级考虑，而非仅优化AI推理本身。
常见误区与总结
- 误区1：只关注峰值功耗，忽略待机功耗。对于IoT设备，待机功耗占比可能超过70%。
- 误区2：认为降低电压一定省电。电压过低会导致漏电流增加，且频率下降导致计算时间延长，总能耗可能不变。
- 误区3：忽视外设功耗。摄像头传感器、麦克风阵列的功耗可能比AI芯片本身更高，需要联动管理。