📚 课程目录第3章端侧推理基础

端侧推理基础：神经网络模型在MCU上的部署流程、量化与压缩基础

将训练好的神经网络模型部署到STM32U5这类MCU上，并非简单的“复制粘贴”。MCU的Flash容量、RAM大小、算力（通常为数百MHz的Cortex-M33内核）以及功耗预算，与云端GPU或PC端CPU存在数量级差异。因此，端侧推理的核心挑战在于：如何在资源受限的硬件上，以可接受的精度损失，换取满足实时性要求的推理速度与内存占用。本章将系统梳理从模型到固件的完整部署链路，重点剖析量化与压缩两大关键技术，并结合STM32U5的硬件特性给出可落地的操作路径。

上图展示了从模型到硬件的完整部署链路。整个流程可划分为三大阶段：模型准备与优化（左侧）、量化与压缩（中间）、部署与验证（右侧）。其中，量化与压缩是决定模型能否在MCU上运行的“生死关”，也是本章的重点。下面我们将逐一拆解每个环节的核心原理与操作要点。

3.1 模型部署的整体流程与关键约束

3.1.1 核心原理：为什么PC端模型不能直接跑在MCU上？

一个典型的MobileNetV2图像分类模型，FP32精度下权重文件约14MB，而STM32U5系列最高Flash容量为2MB（部分型号为4MB）。即使勉强塞进Flash，推理时的中间激活值（Feature Map）也会轻松超过RAM上限（STM32U5最高786KB）。更关键的是，FP32的浮点运算需要Cortex-M33的FPU支持，但即便有FPU，160MHz主频下执行数百万次浮点乘加运算也需要数百毫秒，无法满足实时控制或语音交互场景的需求。

因此，部署流程的本质是“三大约束”的平衡：

存储约束：模型权重+中间激活值必须同时放入Flash和RAM。
算力约束：单次推理延迟需满足应用实时性要求（如10Hz控制频率对应100ms预算）。
精度约束：量化后的精度损失需控制在可接受范围（如Top-1准确率下降不超过2%）。

3.1.2 操作流程：从训练到固件的五步走

模型结构优化：在训练框架中完成算子融合（如Conv+BN+ReLU合并为单一算子）、去除冗余层（如Dropout在推理时移除）。
导出中间表示：将模型转换为ONNX或TFLite格式，这是跨框架部署的“通用语言”。
量化与压缩：使用STM32Cube.AI或TFLite Micro工具链进行INT8量化、权重剪枝等操作。
代码生成与集成：生成C代码或静态库，集成到STM32CubeIDE工程中，配置内存映射和时钟。
硬件在环（HIL）验证：在真实MCU上运行，测量延迟、内存占用和精度，必要时回退调整。

经验提醒：不要跳过第1步直接量化。一个包含BatchNorm层的模型，如果未做BN折叠，量化后精度可能下降3-5%。STM32Cube.AI虽然能自动处理，但手动优化结构可减少工具链的“黑盒”风险。

3.2 量化技术：从FP32到INT8的精度与性能博弈

3.2.1 核心原理：量化的数学本质

量化是将连续浮点数值映射到有限离散整数集合的过程。以最常见的对称线性量化为例，其数学表达式为：

r = S × (q - Z)
其中：
r：原始浮点值
q：量化后的整数值（如INT8范围[-128, 127]）
S：缩放因子（Scale），浮点数
Z：零点（Zero Point），整数，用于映射浮点0值

对于对称量化，Z固定为0，简化了计算。STM32U5的CMSIS-NN库对对称量化支持最佳，因为它可以避免零点偏移带来的额外计算开销。量化过程需要确定S的值，这通常通过统计权重或激活值的分布来完成。

3.2.2 判断方法：选择量化策略

量化类型	权重量化	激活量化	适用场景	精度损失
动态量化	INT8	FP32（推理时动态计算）	RNN/Transformer类模型	较小（1-2%）
全整型量化	INT8	INT8	CNN图像分类/目标检测	中等（2-5%）
混合精度量化	INT8+INT16	INT8/INT16	对精度敏感的回归任务	可控（<1%）

选择策略时，需先评估模型对量化误差的敏感度。一个快速判断方法：对模型权重添加±1%的随机噪声，观察输出变化。若输出波动超过5%，说明模型对量化敏感，应优先考虑混合精度或动态量化。

3.2.3 案例拆解：STM32U5上部署关键词唤醒模型

背景与约束：某智能家居项目需在STM32U5A9NJ（2MB Flash, 786KB RAM）上部署一个基于DS-CNN的关键词唤醒模型，要求唤醒延迟<50ms，RAM占用<100KB，且误唤醒率不高于1次/24小时。

初始现象：原始FP32模型权重1.2MB，激活峰值约200KB，单次推理延迟180ms（160MHz主频）。

分析过程：

首先尝试全整型量化（INT8），权重降至300KB，激活降至50KB，延迟降至45ms，满足要求。
但误唤醒率从0.8次/24小时升至3次/24小时，超出指标。
进一步分析发现，模型第一层（特征提取层）对量化敏感，而后续全连接层不敏感。

实际操作：采用混合精度方案——第一层保持INT16量化，其余层使用INT8。使用STM32Cube.AI的“per-layer quantization”功能，手动指定第一层的数据类型。

结果对比：

方案	权重大小	RAM占用	延迟	误唤醒率
FP32基线	1.2MB	200KB	180ms	0.8次/天
全INT8	300KB	50KB	45ms	3次/天
混合精度	320KB	55KB	48ms	0.9次/天

风险与代价：混合精度方案需要手动分析每层敏感度，增加了开发时间约2天。但换来了精度与性能的平衡。

复盘经验：不要盲目追求全INT8。对于MCU端侧模型，混合精度往往是性价比最高的选择。STM32Cube.AI支持逐层指定量化位宽，善用这一特性。

风险提示：量化校准数据集的选择至关重要。如果校准集与真实部署场景数据分布差异过大，会导致量化后的模型在真实数据上精度骤降。建议从实际采集数据中随机抽取500-1000个样本作为校准集。

3.3 模型压缩：剪枝与知识蒸馏的工程实践

3.3.1 核心原理：减少计算冗余

量化主要降低数值精度，而压缩则从结构上减少计算量。两种主流方法：

结构化剪枝：移除不重要的卷积核或通道。例如，对卷积层输出通道进行L1范数排序，删除范数最小的30%通道，再微调恢复精度。
知识蒸馏：用一个大型“教师模型”指导一个小型“学生模型”训练。学生模型学习教师模型的软输出（概率分布），而非仅硬标签。

3.3.2 操作流程：剪枝的工程步骤

敏感性分析：逐层剪枝10%，观察精度下降幅度，找出敏感层。
迭代剪枝：对非敏感层剪枝20-30%，敏感层剪枝5-10%。
微调恢复：使用原始训练数据，以较低学习率（如1e-4）微调5-10个epoch。
量化联合优化：先剪枝后量化，通常比单独操作效果更好。

3.3.3 实战场景：工业异常检测模型压缩

某工厂需在STM32U5上部署振动信号异常检测模型（1D-CNN），原始模型包含5个卷积层，总参数量2.1M，FP32权重8.4MB。通过以下步骤压缩：

敏感性分析发现第3层和第4层对精度影响最小。
对第3、4层剪枝40%，其余层剪枝15%。
微调后精度从98.2%降至97.8%（可接受）。
再进行INT8量化，最终权重仅0.9MB，延迟从120ms降至35ms。

  关键结论：剪枝与量化并非互斥，而是互补。剪枝减少计算量，量化减少存储和带宽。两者结合通常能获得4-8倍的模型体积缩减和3-5倍的推理加速。

3.4 常见误区与总结复盘

误区	后果	正确做法
跳过结构优化直接量化	精度损失增大，工具链报错	先做BN折叠、算子融合
使用训练集作为量化校准集	过拟合校准集，真实场景精度下降	使用独立验证集或实际采集数据
追求全INT8量化	敏感层精度崩溃	采用混合精度（INT8+INT16）
忽略内存对齐	CMSIS-NN性能下降30%以上	确保权重数组按16字节对齐
只测延迟不测功耗	电池供电场景续航不足	使用STM32U5的LPBAM或低功耗模式

总结：端侧推理部署是一个系统工程，量化与压缩是核心手段，但必须结合硬件特性（如STM32U5的FPU、CMSIS-NN加速库）和具体应用场景（实时性、精度、功耗）进行综合权衡。建议开发者在项目初期就建立“精度-延迟-内存-功耗”的四维评估矩阵，避免后期返工。下一阶段，我们将深入HIL验证的具体方法，但在此之前，请务必确保模型已通过本章所述的量化与压缩流程，否则HIL测试将失去意义。