嵌入式AI基础：嵌入式系统与边缘计算概念、常用嵌入式平台对比、AI模型在嵌入式端的运行流程与约束

嵌入式AI（Edge AI / TinyML）是人工智能从云端数据中心走向物理世界的关键技术路径。与云端AI依赖大规模GPU集群和高带宽网络不同，嵌入式AI要求在功耗受限、算力有限、内存紧张的微处理器或专用加速器上完成模型的推理甚至增量训练。理解嵌入式系统与边缘计算的基本概念、掌握主流硬件平台的特性差异、明确AI模型在嵌入式端的运行流程与约束，是进行模型压缩与部署优化的前提。本章将围绕这三个核心主题展开，为后续章节的量化、剪枝、知识蒸馏等具体技术奠定硬件与系统层面的认知基础。

2.1 嵌入式系统与边缘计算：从云端到终端的范式转移

核心原理：嵌入式系统与边缘计算的定义与边界

嵌入式系统是以应用为中心、以计算机技术为基础、软硬件可裁剪，对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。它通常隐藏在产品内部，执行特定任务，例如汽车ECU、智能门锁、工业PLC、可穿戴设备等。边缘计算则是一种分布式计算范式，将数据处理和应用运行放置在网络边缘（即数据产生源附近），而非全部集中在云端数据中心。嵌入式AI正是这两者的交集：在嵌入式设备上直接运行AI推理算法，使设备具备本地智能决策能力。

从系统架构角度看，边缘计算分为三个层次：云侧负责模型训练和大规模数据聚合；边缘侧（包括边缘网关、边缘服务器、嵌入式终端）负责推理、实时响应和部分增量学习；终端侧（MCU/传感器）负责数据采集和轻量级预处理。这种分层架构的核心价值在于：将AI能力下沉到离用户最近的地方，避免所有数据都上传云端，从而解决网络延迟、带宽成本、数据隐私和离线可用性四大问题。

判断方法：如何判断一个系统是否适合采用嵌入式AI

在实际项目选型中，需要从以下四个维度进行判断：

• 延迟敏感度：如果应用要求端到端延迟小于100ms（如工业质检、自动驾驶辅助），则必须采用边缘或终端推理；若允许秒级延迟（如离线数据分析），可考虑云端。
• 网络可靠性：在工厂车间、矿井、远洋船舶等网络不稳定场景，设备必须离线可用，嵌入式AI是唯一选择。
• 数据隐私合规：医疗影像、人脸识别等敏感数据，法规要求本地处理，不能上传云端。
• 功耗与成本预算：电池供电的IoT设备（如智能传感器）功耗预算通常在mW级，只能选择MCU级方案；若允许5-15W功耗，则可选择Jetson等高性能模块。

案例拆解：智能工业质检系统的边缘部署决策

某汽车零部件工厂需要部署一套表面缺陷检测系统，检测速度要求每件产品不超过200ms，产线网络存在周期性中断（每天约30分钟），且产品图像涉及客户保密协议不能外传。初始方案是“工业相机+云端GPU推理”，实测网络正常时精度达99.2%，但网络中断期间产线停摆，且图像上传带宽占用过高。

经过分析，团队决定采用边缘计算方案：在产线旁部署一台内置NPU的嵌入式工控机（如瑞芯微RK3588），运行经过INT8量化的YOLOv5s模型。关键参数对比如下：

最终方案将模型从FP32压缩到INT8，精度损失仅0.3%，但推理速度提升3.2倍，内存占用降低75%。该案例说明：边缘AI的核心价值不是“跑得更快”，而是“在受限条件下跑得稳、跑得省、跑得安全”。

常见误区与总结复盘

2.2 常用嵌入式平台对比：ARM、RISC-V、GPU、NPU、DSP

核心原理：五大平台的技术特征与适用场景

嵌入式AI硬件平台的选择直接决定了模型压缩策略和部署方式。五大平台各有侧重：ARM是嵌入式CPU的事实标准，提供从Cortex-M（微控制器级）到Cortex-A（应用处理器级）的完整产品线，生态最成熟；RISC-V是开源指令集架构，允许厂商自定义AI扩展指令，适合垂直领域定制；GPU擅长大规模并行计算，适合需要高吞吐量的边缘服务器；NPU是专为神经网络设计的加速器，在单位功耗下提供最高算力；DSP擅长数字信号处理，在音频、雷达、通信等场景有独特优势。

对比分析：五大平台关键指标

选型方法论：基于项目需求的平台匹配

平台选型应遵循“算力匹配、功耗优先、生态兜底”的原则。具体操作流程如下：

1. 计算需求评估：统计目标模型的MACs（乘加运算次数）和参数量，估算所需最低算力。例如，MobileNetV2的MACs约300M，在20fps下需要6 GOPS算力。
2. 内存需求评估：模型权重+激活值+中间缓冲区，需预留2-3倍余量。例如，INT8量化的MobileNetV2权重约3.5MB，激活值约2MB，至少需要16MB可用内存。
3. 功耗预算确认：电池容量除以目标续航时间，得到平均功耗上限。例如，2000mAh电池（7.4Wh）要求续航24小时，则平均功耗不能超过300mW。
4. 生态与工具链评估：检查该平台是否支持TensorFlow Lite Micro、ONNX Runtime、TVM等主流部署框架，是否有成熟的模型转换工具。

案例拆解：智能音箱唤醒词检测的平台选型

某智能家居产品需要实现“小度小度”唤醒词检测，要求误唤醒率低于0.5次/天，响应时间小于100ms，设备采用两节AA电池供电（总容量约2000mAh），目标续航6个月。初始方案采用ESP32（Xtensa LX6 CPU）运行DNN模型，实测功耗过高（平均45mA），续航仅3周。

团队重新评估后，改用ARM Cortex-M4F（STM32L4系列）搭配DSP指令集优化，将模型从DNN替换为DS-CNN（深度可分离卷积），并采用8bit量化。关键优化措施包括：

• 使用CMSIS-NN库加速卷积运算，推理时间从85ms降至32ms
• 采用“VAD（语音活动检测）+唤醒词”两级流水线，空闲时进入睡眠模式，平均功耗降至0.8mA
• 将模型权重存储在Flash中，仅加载到SRAM运行，内存占用从120KB降至48KB

最终方案续航达到5.8个月，误唤醒率0.3次/天，满足产品需求。该案例说明：在超低功耗场景下，ARM MCU+DSP指令集往往比NPU更合适，因为NPU的静态功耗（即使空闲）可能超过MCU的峰值功耗。

常见误区与总结复盘

2.3 AI模型在嵌入式端的运行流程与约束

核心原理：从训练到部署的完整链路

AI模型在嵌入式端的运行并非简单的“复制粘贴”，而是一条包含训练、压缩、转换、部署、推理五个环节的工程链路。每个环节都有特定的技术约束和优化空间。完整的运行流程如下：

1. 模型训练（云端/PC）：使用PyTorch/TensorFlow等框架训练高精度模型，通常为FP32精度。
2. 模型压缩：通过量化（FP32→INT8/INT4）、剪枝（移除冗余权重）、知识蒸馏（用小模型学习大模型）等手段减小模型体积和计算量。
3. 格式转换：将模型转换为嵌入式平台支持的格式，如ONNX、TFLite、RKNN、OM等。
4. 代码生成与集成：使用编译器（如TVM、XLA）生成优化后的C/C++代码或二进制指令，集成到嵌入式应用中。
5. 运行时推理：在目标设备上加载模型，执行前处理（图像缩放、归一化）、推理、后处理（NMS、阈值过滤）。

三大约束的量化分析与应对策略

嵌入式AI面临的核心约束可以量化为三个维度：

案例拆解：智能摄像头的人脸检测模型部署全流程

某安防摄像头采用海思Hi3516DV300（内含2 TOPS NPU），需要部署人脸检测模型，要求30fps实时处理1080P视频流，整机功耗低于3W。初始模型为YOLOv5m（FP32，参数量21.2M，计算量49.0 GMACs），直接部署后实测仅8fps，功耗4.5W，远超指标。

团队按以下步骤进行优化：

1. 模型替换：将YOLOv5m替换为YOLOv5s（参数量7.2M，计算量16.5 GMACs），精度mAP从0.89降至0.85，仍在可接受范围。
2. INT8量化：使用海思NNIE工具链进行量化校准，使用500张代表性图片，量化后模型体积从14.4MB降至3.6MB，推理速度提升2.3倍。
3. 输入分辨率优化：将输入从640×640降至416×416，计算量进一步减少58%，精度损失0.02 mAP。
4. 帧率控制：采用“检测+跟踪”策略，检测帧率降至10fps，跟踪帧率保持30fps，整体功耗降至2.2W。

最终系统在30fps下运行，功耗2.2W，满足所有指标。该案例的关键经验是：模型压缩不是单一技术，而是“模型选择+量化+输入优化+系统级调度”的组合拳。

常见误区与总结复盘