嵌入式系统基础：常见嵌入式平台、资源约束与典型应用场景
嵌入式系统是端侧推理优化与模型量化的物理载体。无论是部署在智能摄像头中的NPU，还是手机SoC中的GPU，亦或是工业控制中的MCU，其硬件架构直接决定了算力上限、内存带宽和能效比。理解嵌入式平台的异构特性与资源边界，是进行量化策略选择、算子融合设计和内存布局优化的前提。本章将系统梳理主流嵌入式平台的计算特征、存储层次与功耗约束，并剖析典型应用场景对模型部署的具体要求。
2.1 主流嵌入式计算平台架构与选型
嵌入式平台并非单一处理器，而是由多种计算单元组成的异构系统。在端侧推理场景中，不同计算单元各有其擅长的运算类型与能效边界。理解这些平台的差异，是进行模型部署和量化方案设计的第一步。
核心原理：异构计算与指令集差异
ARM架构长期主导移动与嵌入式市场，其Cortex-A系列面向高性能应用（如手机应用处理器），支持乱序执行与多核缓存一致性；Cortex-M系列面向微控制器，以低功耗和确定性响应见长；Cortex-R系列则面向实时控制。RISC-V作为开源指令集，允许厂商自定义扩展指令（如向量指令、矩阵运算指令），在AIoT领域快速崛起。NPU（神经网络处理单元）则采用脉动阵列或SIMD架构，将乘累加（MAC）操作并行化，其能效比（TOPS/W）通常比CPU高一个数量级。GPU最初为图形渲染设计，其大规模线程并行特性也适用于矩阵运算，但功耗和内存带宽需求较高。
| 平台类型 | 典型代表 | 算力特征 | 内存带宽 | 能效比 (TOPS/W) | 适用算子 |
|---|---|---|---|---|---|
| ARM Cortex-A | Cortex-A78, A55 | 2-4 TOPS (含SIMD) | 20-40 GB/s | 0.5-1.5 | 通用算子、控制流 |
| ARM Cortex-M | STM32H7, M33 | 0.01-0.1 TOPS | 0.4-1 GB/s | 2-4 | 轻量级KWS、异常检测 |
| RISC-V (向量扩展) | 玄铁C910, 香山 | 1-4 TOPS | 10-30 GB/s | 1-2 | 自定义算子、矩阵乘 |
| NPU | 寒武纪MLU220, 瑞芯微RK3588 NPU | 3-6 TOPS | 10-20 GB/s | 3-8 | Conv, FC, Pooling |
| GPU (Mali/Adreno) | Mali-G78, Adreno 660 | 1-2 TFLOPS | 30-50 GB/s | 0.3-0.8 | 卷积、矩阵运算 |
判断方法：根据模型特性选择计算单元
在实际部署中，需要根据模型的算子构成和实时性要求进行平台选择。具体判断流程如下：
- 算子类型分析：统计模型中卷积、全连接、激活函数、注意力机制等算子的占比。若卷积占比超过70%，优先考虑NPU；若模型包含大量动态形状或复杂控制流（如循环神经网络），CPU或GPU更合适。
- 精度与动态范围评估：若模型对量化敏感（如检测模型中的小目标），需选择支持混合精度（FP16+INT8）的平台，如带向量单元的NPU或GPU。
- 功耗预算核算：根据产品电池容量和散热条件，计算平均功耗上限。例如，智能手表整机功耗需控制在200mW以内，只能选择Cortex-M或超低功耗NPU。
- 工具链成熟度：检查目标平台是否提供完善的量化工具（如RKNN-Toolkit、TensorRT、NCNN），以及是否支持自定义算子注册。
案例拆解：智能摄像头中的异构调度
某安防摄像头产品采用瑞芯微RK3588平台（4×Cortex-A76 + 4×Cortex-A55 + 6 TOPS NPU），需部署一个实时人形检测模型（YOLOv5s，约7.3M参数）。初始方案将所有算子部署在NPU上，但实测发现：
- NPU对
Resize和NMS算子支持不佳，导致CPU占用率飙升至80%，帧率仅12 FPS。 - 内存带宽瓶颈：NPU与CPU共享DDR带宽，当NPU满载时，CPU访问延迟增加30%。
优化方案：将Resize算子迁移至CPU的NEON指令集实现，NMS使用RGA硬件加速模块。调整后，NPU占用率降至70%，CPU占用率降至25%，帧率提升至25 FPS，整机功耗从4.5W降至3.8W。复盘发现，异构调度的核心在于避免让单一计算单元成为瓶颈，同时利用硬件加速器（如RGA）分担非AI计算任务。
2.2 内存与计算资源约束的量化分析
嵌入式系统的资源约束不仅体现在算力上，更体现在内存容量、带宽和功耗的耦合关系上。模型量化之所以在嵌入式端侧如此重要，正是因为其能同时降低存储占用、带宽压力和计算功耗。
核心原理：存储层次与带宽瓶颈
典型的嵌入式SoC包含三级存储：寄存器堆（KB级）、片上SRAM（几MB）、外部DDR（几百MB到几GB）。片上SRAM的访问延迟约为DDR的1/10，但容量有限。当模型权重超过SRAM容量时，必须频繁从DDR加载数据，此时内存带宽成为实际瓶颈。例如，一个INT8模型（7.3M参数）权重约7.3MB，若全部放入DDR，每次推理需读取7.3MB数据。在100MHz的DDR带宽下，仅权重加载就需要73ms，远超计算时间。因此，量化到INT4（权重减半）或使用权重压缩技术，能显著减少DDR访问次数。
判断方法：内存与功耗的预算分配
在项目启动阶段，应建立资源预算表，明确各项硬性指标：
| 资源项 | 典型预算 | 量化影响 | 风险提示 |
|---|---|---|---|
| SRAM容量 | 2-8 MB | INT8权重可完全驻留 | 若模型超过SRAM，需分块加载 |
| DDR带宽 | 10-30 GB/s | INT8比FP32减少4倍带宽 | 多核同时访问时带宽骤降 |
| 峰值功耗 | 2-5 W (手机), 0.5-1W (IoT) | INT8 MAC操作功耗降低约60% | NPU满载时功耗可能超标 |
| Flash存储 | 16-128 MB | INT8模型体积减少4倍 | OTA升级需预留双备份空间 |
实战场景：内存受限的TinyML部署
在Cortex-M4F（192KB SRAM，1MB Flash）上部署关键词唤醒（KWS）模型。原始FP32模型（5层CNN，约500KB）无法装入Flash。采用INT8量化后，模型压缩至125KB，但激活值仍占用约80KB SRAM，接近极限。进一步采用深度可分离卷积和激活值复用策略，将峰值激活内存降至40KB。最终模型在50ms内完成推理，功耗仅12mW。此案例说明，在极端资源约束下，量化与网络结构搜索（NAS）需协同设计，而非仅依赖量化工具。
2.3 典型应用场景与部署要求
不同应用场景对推理延迟、功耗、精度和可靠性的要求差异巨大。理解场景需求，才能制定合理的量化与优化目标。
核心原理：场景驱动的优化目标
端侧推理场景可分为三类：实时交互类（如手机AR、语音助手）、准实时分析类（如智能摄像头、工业质检）、离线批处理类（如数据采集后集中处理）。实时交互类要求端到端延迟低于100ms，且功耗需控制在电池可承受范围内；准实时分析类允许200-500ms延迟，但需7×24小时连续运行，对稳定性要求极高；离线批处理类则更关注吞吐量而非单次延迟。
判断方法：场景需求映射表
| 场景 | 延迟要求 | 功耗预算 | 精度要求 | 量化策略建议 |
|---|---|---|---|---|
| 手机端实时视频处理 | <50ms | 峰值3W | 高（人眼敏感） | 混合精度：FP16+INT8 |
| 智能门铃/猫眼 | <300ms | 平均1W | 中高 | INT8 + 权重剪枝 |
| 工业缺陷检测 | <500ms | 5-10W | 极高（误检代价大） | INT8 + 敏感层回退FP16 |
| TWS耳机语音唤醒 | <30ms | <5mW | 中 | INT4/INT8 + 二值化部分层 |
案例拆解：工业质检中的量化与部署闭环
某工厂部署PCB缺陷检测系统，使用NVIDIA Jetson Orin NX平台（8GB内存，100 TOPS NPU）。初始FP16模型（ResNet-50，25.6M参数）推理延迟为45ms，满足500ms要求，但GPU功耗高达15W，导致机柜散热压力大。优化过程：
- 量化分析：使用TensorRT对模型进行INT8量化，校准数据集选取500张典型缺陷图。量化后模型精度从99.2%降至98.7%，但误检率上升0.3%，不满足客户要求。
- 敏感层定位：通过逐层精度对比，发现最后两个残差块的量化误差贡献了80%的精度损失。将这4个层回退至FP16，其余层保持INT8。
- 结果：混合精度模型精度恢复至99.1%，推理延迟降至28ms，GPU功耗降至9W。
复盘经验：量化不是一刀切，敏感层回退是平衡精度与效率的常用手段。同时，校准数据集的选择直接影响量化效果，需覆盖所有缺陷类型。
常见误区与总结复盘
- 误区一：认为NPU是万能的。NPU对非规则算子（如动态形状、稀疏计算）支持差，需CPU协同。
- 误区二：忽略内存带宽的“木桶效应”。即使算力充足，DDR带宽不足仍会导致推理延迟飙升。
- 误区三：量化后不做精度验证。必须使用真实场景数据（而非训练集）进行端到端验证。
- 误区四：功耗评估只看峰值。实际应用中，平均功耗和热设计功耗（TDP）同样关键，需进行长时间压力测试。