嵌入式AI基础：嵌入式系统概述与AI部署的核心挑战
嵌入式AI（Edge AI / TinyML）是指将机器学习模型部署到资源受限的嵌入式设备上，在本地完成数据采集、推理和决策，而非依赖云端服务器。要理解这一领域的核心逻辑，首先需要厘清嵌入式系统的硬件分类、AI部署的物理约束，以及主流平台的选择依据。本章将从硬件架构、工程挑战和平台选型三个维度，为后续的模型转换、量化和推理优化打下基础。
2.1 嵌入式系统硬件分类：MCU、MPU与SoC
嵌入式AI的硬件选型首先取决于“计算密度”与“功耗预算”的平衡。理解MCU、MPU和SoC的差异，是选择部署路径的第一步。
核心原理：三种计算架构的本质区别
MCU（微控制器）将CPU核心、SRAM、Flash以及丰富的外设接口（UART、SPI、I2C、ADC等）集成在单一芯片上。其设计目标是确定性实时响应和极低功耗，典型代表为ARM Cortex-M系列。MCU通常运行裸机程序或RTOS（如FreeRTOS、Zephyr），没有MMU（内存管理单元），因此无法运行Linux等完整操作系统。在AI部署中，MCU适合执行轻量级模型（如关键字识别、异常检测），模型大小通常限制在几百KB以内。
MPU（微处理器）通常指基于Cortex-A系列核心的处理器，具备MMU和高速缓存，能够运行Linux/Android等复杂操作系统。MPU的计算能力远强于MCU，但功耗和成本也相应提高。在AI场景中，MPU常作为主控，负责图像预处理、任务调度和复杂逻辑，而将密集计算交给GPU或NPU。
SoC（片上系统）是更广义的概念，它在MPU的基础上集成了GPU、NPU、ISP、DSP、视频编解码器等多种专用计算单元。例如NVIDIA Jetson Orin集成了Ampere架构GPU和深度学习加速器（DLA），瑞芯微RK3588则集成了6 TOPS算力的NPU。SoC是当前嵌入式AI视觉、自动驾驶、机器人等场景的主流选择。
| 维度 | MCU (如STM32H743) | MPU (如i.MX8M Plus) | SoC (如RK3588) |
|---|---|---|---|
| CPU核心 | Cortex-M7 @480MHz | Cortex-A53 四核 @1.8GHz | Cortex-A76 四核 + A55 四核 |
| RAM | 1MB SRAM | 2GB LPDDR4 | 8GB/16GB LPDDR4x |
| AI算力 | 无（依赖CPU） | 2.3 TOPS (NPU) | 6 TOPS (NPU) + GPU |
| 操作系统 | 裸机/RTOS | Linux | Linux/Android |
| 典型功耗 | 0.1-0.5W | 2-5W | 5-15W |
| AI框架支持 | TFLite Micro, CMSIS-NN | TFLite, ONNX Runtime | RKNN, TensorRT, TFLite |
2.2 AI模型部署的三大挑战：算力、内存与功耗
在嵌入式设备上部署AI模型，本质上是在“资源受限”的条件下完成“计算密集”的任务。这三大挑战相互耦合，必须系统性地权衡。
挑战一：算力（Compute）
算力决定了模型推理的速度。嵌入式设备的算力通常以MAC/s（乘累加运算每秒）或TOPS（每秒万亿次操作）衡量。例如，STM32F4系列Cortex-M4F核心在168MHz下可提供约0.04 GMAC/s的算力，而RK3588的NPU可提供6 TOPS（约3 GMAC/s）。算力不足会导致推理延迟过高，无法满足实时性要求（如视频流处理需≥30FPS）。
应对策略：模型剪枝（Pruning）、知识蒸馏（Distillation）和量化（Quantization）是降低计算量的主要手段。例如，将FP32模型量化为INT8，计算量可减少4倍，且大部分硬件对INT8有专门加速单元。
挑战二：内存（Memory）
内存瓶颈体现在两个方面：容量和带宽。MCU的SRAM通常只有几百KB，而一个MobileNetV2模型（FP32）权重约14MB，远超MCU容量。即使模型能装进Flash，推理时的中间激活值（Feature Map）也会占用大量RAM。例如，输入224x224x3的图像，第一层卷积后的特征图可能就有112x112x32=400KB。
应对策略：深度可分离卷积（Depthwise Separable Convolution）可大幅减少参数量；激活值重计算（Activation Recomputation）或内存复用（Memory Planning）技术可降低峰值内存。此外，模型量化（INT8）可将权重和激活值压缩4倍。
挑战三：功耗（Power）
功耗直接影响设备的续航和散热设计。对于电池供电的IoT设备，平均功耗需控制在毫瓦级；对于车载或机器人平台，功耗预算可能在10-50W。高算力芯片在满载时功耗急剧上升，例如Jetson Orin Nano的8W模式与15W模式性能差异显著。
应对策略：动态电压频率调整（DVFS）、推理任务调度（如仅在事件触发时唤醒NPU）、模型分时复用（时间片轮转）以及硬件层面的低功耗模式（如STM32的Stop模式）是常用手段。
2.3 常见嵌入式AI平台对比与选型
当前主流平台可分为三大阵营：MCU级（STM32系列）、GPU/NPU级（NVIDIA Jetson）、以及国产SoC级（瑞芯微RK系列）。选择平台需综合评估生态成熟度、工具链完善度和量产成本。
2.3.1 STM32系列：超低功耗与TinyML
STMicroelectronics的STM32系列覆盖从Cortex-M0到Cortex-M7，以及最新的Cortex-M55（含Helium DSP指令）。其AI工具链为STM32Cube.AI和NanoEdge AI Studio，支持将Keras/TFLite模型自动转换为C代码并优化。STM32N6系列首次集成NPU（STM32NPU），算力可达3.2 GOPS，适合在MCU上运行视觉模型。
适用场景：智能传感器、可穿戴设备、工业振动分析、关键词唤醒（KWS）。
2.3.2 NVIDIA Jetson：高性能边缘计算
Jetson系列（Nano、TX2、Xavier NX、Orin）搭载GPU和DLA（深度学习加速器），支持TensorRT加速。TensorRT可对FP16/INT8模型进行层融合、内核自动调优，推理性能远超CPU。Jetson生态成熟，支持主流框架（PyTorch、TensorFlow、ONNX），适合需要复杂视觉处理（目标检测、语义分割）的机器人、无人机和智能安防设备。
2.3.3 瑞芯微RK3588：国产SoC的AI全能选手
RK3588是瑞芯微旗舰SoC，集成四核Cortex-A76+四核Cortex-A55、Mali-G610 GPU以及6 TOPS算力的NPU（支持INT4/INT8/INT16混合精度）。其RKNN-Toolkit2工具链支持PyTorch、ONNX、TensorFlow模型转换，并提供量化、算子融合和内存优化功能。RK3588在智能摄像头、边缘计算盒子、智慧大屏等场景应用广泛，性价比高。
| 平台 | AI算力 | 工具链 | 开发难度 | 量产成本 | 推荐场景 |
|---|---|---|---|---|---|
| STM32H7 | CPU (无NPU) | STM32Cube.AI | 低 | 低 ($5-15) | 传感器/穿戴 |
| STM32N6 | 3.2 GOPS | STM32Cube.AI | 中 | 中 ($15-25) | 视觉/音频 |
| Jetson Orin Nano | 40 TOPS | TensorRT | 中高 | 高 ($249+) | 机器人/自动驾驶 |
| RK3588 | 6 TOPS | RKNN-Toolkit2 | 中 | 中 ($80-150) | 边缘盒子/安防 |
案例拆解：智能工业相机缺陷检测平台选型
背景与约束：某电子制造企业需要部署一套PCB板缺陷检测系统，要求检测速度≥30FPS，检测精度mAP≥95%，设备需安装在产线旁，环境温度40°C，无主动散热条件，单台设备硬件成本预算≤2000元。
初始方案与问题：团队最初选用Jetson Nano（4GB），使用YOLOv5s模型（FP16）。实测推理速度约25FPS，勉强达标，但整机功耗约10W，在密闭机箱内温度飙升至75°C，导致CPU降频，推理速度降至18FPS。同时，Jetson Nano单价约1200元，加上散热改造（加装风扇和散热片）后总成本超预算。
分析与调整：团队重新评估后发现，PCB缺陷（如划痕、缺件）属于小目标检测，但背景相对单一，不需要过大的模型容量。于是改用RK3588平台，并采取以下优化步骤：
- 模型轻量化：将YOLOv5s替换为YOLOv5n（参数量减少50%），并通过知识蒸馏（以v5s为教师模型）将mAP从96.2%微降至94.8%，仍满足≥95%的指标（实际验收标准为94%以上）。
- INT8量化：使用RKNN-Toolkit2对模型进行混合量化（部分层保留FP16），推理速度从35FPS提升至52FPS，内存占用从1.2GB降至480MB。
- 功耗控制：在RK3588的NPU上设置DVFS策略，将NPU频率锁定在800MHz（而非最高1GHz），功耗从8.5W降至5.2W，配合被动散热片（无风扇）温度稳定在62°C。
结果对比：最终系统在RK3588上实现52FPS推理速度，功耗5.2W，硬件总成本（核心板+载板+散热片）约950元，远低于Jetson方案。量产后的故障率也低于预期。
复盘经验：平台选型不能只看算力峰值，要综合能效比、工具链成熟度、散热约束和BOM成本。Jetson适合需要CUDA生态和复杂模型（如Transformer）的场景，而RK3588在轻量级视觉任务中性价比优势明显。
① 模型的实时性要求（FPS/延迟）？
② 可接受的精度损失范围（通常INT8量化损失<1%）？
③ 功耗和散热预算（被动散热还是主动散热）？
④ 量产成本上限（芯片单价、外围器件、PCB层数）？
只有回答了这些问题，才能选择正确的硬件平台和优化策略。
2.4 常见误区与总结复盘
在嵌入式AI项目初期，开发者常陷入以下误区，导致后期返工或项目失败。
误区一：只关注模型参数量，忽略内存峰值
很多教程强调“模型大小”，但实际部署中，激活值（Activation）往往比权重更占内存。例如，一个输入为640x640的YOLOv5s模型，第一层卷积的激活值可能达到数十MB。建议使用Netron工具查看模型结构，并利用推理引擎的“内存规划”功能估算峰值内存。
误区二：盲目追求高算力芯片
高算力意味着高功耗、高成本和大体积。对于简单的分类或异常检测任务，一颗Cortex-M4F MCU可能就足够了。例如，在电机振动分析中，使用STM32F4运行1D-CNN模型（输入256点FFT频谱），推理时间仅需2ms，功耗低于50mW，完全不需要NPU。
误区三：忽视工具链的成熟度
某些芯片标称算力很高，但配套的编译器、量化工具和算子库不完善，导致实际部署时大量算子不支持，需要手工实现或修改模型结构。建议在选型前，先下载该平台的SDK，尝试转换一个包含常见算子（Conv、BN、ReLU、Add、Concat）的测试模型，验证工具链的完整度。
误区四：将PC端精度等同于嵌入式精度
量化（FP32→INT8）会引入精度损失，且不同硬件对量化策略的支持不同。例如，RK3588的NPU支持非对称量化，而某些MCU的CMSIS-NN仅支持对称量化。务必在目标硬件上重新评估精度，而不是依赖PC端的验证结果。