3. 边缘AI硬件平台选型与部署约束
边缘AI设备的硬件选型，本质上不是“选最快的芯片”，而是在算力、功耗、内存、实时性和成本之间找到与场景匹配的平衡点。同一套目标检测模型，放在MCU上可能只能跑每秒几帧的轻量版本，放在GPU上可以轻松跑到上百帧，但功耗和散热代价可能让设备无法装进电池供电的机壳。因此，选型的第一步不是看芯片参数表，而是先把场景约束写成可量化的指标。
先明确四类硬约束
边缘AI部署的约束通常可以归为四类。第一是算力约束，常用TOPS或GOPS衡量，但要注意标称算力往往对应INT8稀疏或特定精度，实际可用算力要打折扣。第二是功耗约束，包括芯片TDP、整机平均功耗和峰值功耗，电池设备还要看mAh与续航换算。第三是内存约束，既要看容量，也要看带宽，因为很多模型推理瓶颈不在算力而在访存。第四是实时性约束，包括单帧推理延迟、端到端延迟和抖动，控制类应用对抖动尤其敏感。
把这四类约束写成一张选型输入表，比直接对比芯片更有意义。例如一个电池供电的工业巡检设备，可能要求：整机平均功耗≤3W、单帧推理延迟≤50ms、模型为YOLOv5n INT8、内存≥256MB、工作温度-20~60℃。这些数字一旦确定，很多平台会被直接排除。
四类平台的定位差异
MCU通常指Cortex-M系列或RISC-V内核，主频几十到几百MHz，内存KB到MB级，功耗可低至毫瓦级。它适合关键词唤醒、简单振动分类、阈值判断等极小模型场景。优势是实时性确定、启动快、成本低；劣势是算力和内存有限，难以承载视觉大模型。典型部署方式是TFLite Micro或CMSIS-NN，模型需要量化到INT8并裁剪到几十KB级别。
NPU是近年来边缘AI的主力，常见于瑞芯微RK3588、地平线旭日、寒武纪思元等芯片中。NPU的算力从0.5TOPS到几十TOPS，功耗从几百毫瓦到几瓦，擅长INT8/INT16卷积加速。它的优势是能效比高、工具链逐渐成熟；劣势是算子支持有限，遇到自定义算子或动态shape时可能回退到CPU，导致延迟飙升。选型时要重点确认目标模型的所有算子是否在NPU支持列表内。
GPU在边缘端通常指NVIDIA Jetson系列或集成GPU。它的优势是生态成熟、支持FP16/INT8、能跑较复杂的模型和并行后处理；劣势是功耗较高，Jetson Orin Nano整机功耗约7~15W，需要主动散热。GPU适合多路视频分析、机器人导航等算力需求较高的场景。
FPGA的优势是确定性延迟和可定制流水线，适合对抖动极敏感的高频控制或传感器融合场景。但开发门槛高，需要RTL或HLS设计，部署周期长，适合有专门硬件团队且量产规模较大的项目。
选型方法：从硬边界到软权衡
实际选型可以按以下顺序推进。第一步，确定功耗与供电方式。如果是电池供电且要求续航数天，MCU或低功耗NPU是首选；如果市电供电且散热空间充足，GPU可以纳入考虑。第二步，确定实时性等级。控制闭环要求延迟抖动小于几毫秒时，FPGA或MCU更合适；视频分析允许几十毫秒抖动时，NPU和GPU都可以。第三步，确定模型规模与算子。把候选模型在目标平台工具链上做一次算子支持检查，确认没有大量回退CPU的算子。第四步，才是比较算力与价格。
这里有一个常见误区：只看TOPS数字。例如某NPU标称6TOPS，但目标模型中有大量Depthwise卷积和自定义后处理，实际推理延迟可能比标称值差3~5倍。因此，选型阶段最好用目标模型在候选平台上做一次真实benchmark，记录单帧延迟、CPU占用、内存峰值和整机功耗。
部署约束的量化示例
假设一个边缘AI项目要求：输入640×640 RGB图像，运行YOLOv5n INT8，单帧推理延迟≤40ms，整机平均功耗≤5W，内存≥512MB。我们可以用一张简单的参数表来对比候选平台。
| 平台类型 | 典型算力 | 典型功耗 | 内存 | YOLOv5n INT8延迟（示例估算） | 适用判断 |
|---|---|---|---|---|---|
| MCU（Cortex-M7） | 0.001~0.01 TOPS | 0.1~0.5W | 1~8MB | 无法运行640×640版本 | 排除 |
| 低功耗NPU | 0.5~2 TOPS | 0.5~2W | 128~512MB | 约60~120ms | 延迟不达标 |
| 中端NPU | 4~6 TOPS | 2~5W | 1~4GB | 约25~40ms | 可满足 |
| 边缘GPU | 10~40 TOPS | 7~15W | 4~8GB | 约10~20ms | 延迟达标但功耗超标 |
表中延迟为示例估算，实际值受模型实现、内存带宽和散热影响。可以看到，中端NPU在功耗和延迟之间取得了较好平衡，而GPU虽然延迟更低，但整机功耗可能超过5W约束。如果项目允许主动散热且功耗放宽到15W，GPU方案则更有余量。
部署时的关键约束检查
选定平台后，部署阶段还要检查几项容易忽略的约束。第一，内存带宽：NPU和GPU的算力再高，如果DDR带宽不足，推理速度会被访存拖慢。第二，算子回退：用工具链导出模型后，查看有多少算子落在CPU上，回退比例超过10%就要警惕。第三，热设计：持续满载时芯片会降频，标称延迟可能无法维持，需要留出20%~30%的散热余量。第四，启动时间：工业设备要求上电后快速进入工作状态，GPU和FPGA的启动时间通常长于MCU和NPU。
最后需要强调，边缘AI硬件选型没有通用最优解。MCU、NPU、GPU、FPGA各自对应不同的约束组合。真正有效的选型方法，是先把场景约束量化，再用目标模型在候选平台上做真实测试，最后根据实测数据做决策。算力数字只是起点，功耗、内存、实时性和工具链成熟度才是决定项目能否落地的关键。