3、模型压缩概览：模型压缩的定义、必要性、主要技术分类及适用场景
在Edge AI低端MCU（如Cortex-M0+、RISC-V内核，主频几十MHz、Flash 256KB以内、RAM 64KB以内）上部署深度学习模型，首先面临的不是算法选型，而是“模型能不能装进去、跑得动”的硬约束。模型压缩正是解决这一矛盾的核心技术手段。本章从定义出发，厘清压缩的必要性，系统梳理剪枝、量化、蒸馏、低秩分解、神经架构搜索五大技术流派，并给出面向MCU场景的选型建议。
3.1 模型压缩的定义与必要性
模型压缩是指在尽量保持模型精度的前提下，通过算法手段降低模型的存储空间、计算复杂度、内存占用和推理延迟。在Edge AI低端MCU场景中，压缩不是“锦上添花”，而是“能否部署”的生死线。一个典型的MobileNetV2模型（FP32）约13.4MB参数，而常见的低端MCU Flash仅有256KB，直接部署完全不可能。
从工程角度看，压缩的必要性体现在四个维度：
- 存储约束：MCU的Flash容量有限，模型参数必须压缩到可用空间内，通常需要压缩50-100倍。
- 内存约束：推理时的激活值、中间特征图占用RAM，低端MCU的RAM往往只有几十KB，需要控制峰值内存。
- 计算约束：MCU没有GPU/NPU加速，乘加运算由CPU逐条执行，必须减少MACs（乘加运算次数）。
- 功耗约束：电池供电的IoT设备要求单次推理功耗在毫瓦级，计算量直接决定功耗。
3.2 五大主流压缩技术详解
3.2.1 剪枝（Pruning）
核心原理：神经网络中存在大量冗余连接或通道，剪枝通过移除这些不重要的参数来减小模型规模。剪枝分为非结构化剪枝（移除单个权重）和结构化剪枝（移除整个通道、滤波器或层）。对于MCU部署，结构化剪枝是首选，因为它能真正减少计算量，且不需要特殊硬件支持。
判断方法：常用的重要性评估指标包括权重绝对值（L1/L2范数）、BN层缩放因子、梯度敏感度等。实际操作中，按重要性排序后剪除最低的10%-30%通道，再微调恢复精度。
| 剪枝类型 | 粒度 | 压缩效果 | MCU适用性 | 典型工具 |
|---|---|---|---|---|
| 非结构化剪枝 | 单个权重 | 存储减少，计算不变 | 不适用（需稀疏库） | PyTorch |
| 结构化剪枝 | 通道/滤波器 | 存储+计算同时减少 | 非常适用 | PaddleSlim |
| 层级剪枝 | 整个层 | 大幅减少深度 | 适用于极深网络 | 自定义脚本 |
实战场景：在Cortex-M4上部署关键词唤醒模型（KWS），原始CNN有5个卷积层、约500K参数。通过通道剪枝，将每层通道数从64剪至32，参数量降至180K，精度损失仅0.8%，推理时间从120ms降至45ms。
3.2.2 量化（Quantization）
核心原理：将FP32浮点权重和激活值映射到低比特整数（如INT8、INT16），减少存储和计算开销。MCU通常不支持FP32加速，但INT8乘加运算可以高效执行。量化分为训练后量化（PTQ）和量化感知训练（QAT）。
操作流程：
- 收集校准数据集（100-500张代表性样本）
- 统计每层激活值的动态范围（min/max或百分位）
- 计算缩放因子scale和零点zero_point
- 将FP32权重映射到INT8：q = round(w/scale) + zero_point
- 验证量化后精度，若损失过大则改用QAT
// INT8量化示例（伪代码）
float scale = (max_val - min_val) / 255.0f;
int zero_point = round(-min_val / scale);
int8_t q_weight = (int8_t)round(weight / scale) + zero_point;
// 反量化
float deq_weight = ((float)q_weight - zero_point) * scale;案例拆解：某工业振动监测项目，使用1D-CNN进行故障诊断。原始FP32模型大小1.2MB，在STM32F103上无法部署。采用INT8 PTQ量化后，模型降至300KB，Flash占用满足要求，精度从97.2%降至96.1%，损失可接受。但推理速度提升3.2倍，从210ms降至65ms。
3.2.3 知识蒸馏（Knowledge Distillation）
核心原理：训练一个大型教师模型，将其“知识”迁移到小型学生模型。学生模型学习教师模型的软输出（概率分布），而非仅学习硬标签。软标签包含类间相似性信息，能提供更丰富的监督信号。
判断方法：蒸馏的关键是温度参数T。T越高，软标签分布越平滑，类间信息越丰富。常用公式：L = α * L_hard + (1-α) * L_soft，其中L_soft使用温度缩放后的KL散度。
实战场景：在Cortex-M0+上部署人体活动识别（HAR）模型。教师模型为BiLSTM（200K参数），学生模型为轻量GRU（45K参数）。通过蒸馏训练，学生模型精度达到92.3%，仅比教师低1.1%，但参数量减少77%，RAM占用从28KB降至9KB。
| 蒸馏方式 | 教师模型 | 学生模型 | 精度保持率 | 适用场景 |
|---|---|---|---|---|
| 离线蒸馏 | 大模型（预训练） | 小模型（从头训练） | 90-95% | 有充足训练时间 |
| 在线蒸馏 | 同步训练 | 同步训练 | 85-92% | 数据流场景 |
| 自蒸馏 | 自身深层 | 自身浅层 | 88-93% | 无额外大模型 |
3.2.4 低秩分解（Low-Rank Factorization）
核心原理：将权重矩阵W（m×n）分解为两个低秩矩阵的乘积W ≈ U×V（U为m×r，V为r×n，r远小于min(m,n)）。通过SVD（奇异值分解）或CP分解实现。分解后参数量从m×n降至r×(m+n)，计算量也相应减少。
操作流程：
- 对预训练模型的每个权重矩阵进行SVD分解
- 根据奇异值分布确定保留的秩r（通常保留前90%能量）
- 用分解后的两个小矩阵替换原矩阵
- 微调整个网络恢复精度
案例拆解：某语音命令识别模型，全连接层权重为256×256。SVD分解后，取r=32，参数量从65,536降至16,384（减少75%），精度损失0.5%。但需要注意，低秩分解对卷积层效果有限，主要适用于全连接层和嵌入层。
3.2.5 神经架构搜索（Neural Architecture Search, NAS）
核心原理：通过自动化搜索算法（强化学习、进化算法、梯度优化）在预定义搜索空间中寻找最优网络结构。搜索目标可以是精度、延迟、参数量或它们的加权组合。在MCU场景中，NAS需要将硬件约束（Flash/RAM/延迟）作为硬性过滤条件。
判断方法：MCU-NAS的搜索空间通常包括：卷积核大小（1×1、3×3）、通道数（16-64）、深度（2-6层）、是否有残差连接等。搜索完成后，需在真实MCU上验证延迟和内存。
| NAS方法 | 搜索策略 | 计算开销 | MCU适用性 | 代表工具 |
|---|---|---|---|---|
| 强化学习 | RNN控制器 | 极高（数千GPU时） | 不直接适用 | NASNet |
| 进化算法 | 种群变异 | 高 | 可离线使用 | NSGA-Net |
| 可微分搜索 | 梯度下降 | 中 | 可离线使用 | DARTS |
| 硬件感知NAS | 延迟/内存反馈 | 中高 | 非常适用 | MCUNet |
实战场景：MCUNet在ImageNet上搜索出适用于MCU的模型，在216KB Flash和64KB RAM约束下达到70.7% Top-1精度。其核心思路是将Flash和RAM占用作为搜索目标的一部分，而非事后压缩。
3.3 技术选型对比与组合策略
在实际MCU项目中，单一压缩技术往往难以满足需求，需要组合使用。下表给出了不同约束下的推荐组合：
| 硬件约束 | 首要技术 | 次要技术 | 组合策略 | 预期压缩率 |
|---|---|---|---|---|
| Flash紧张 | 量化（INT8） | 剪枝 | 先剪枝后量化 | 30-50倍 |
| RAM紧张 | 结构化剪枝 | 低秩分解 | 剪枝减少通道，低秩压缩全连接 | 20-40倍 |
| 延迟敏感 | 结构化剪枝 | 量化 | 剪枝减少MACs，量化加速计算 | 15-30倍 |
| 精度敏感 | 蒸馏 | INT16量化 | 蒸馏训练小模型，再轻度量化 | 10-20倍 |
推荐组合流程：
- 先用NAS或人工设计一个MCU友好的基础架构（参数量控制在100K以内）
- 使用知识蒸馏从大模型学习，提升小模型精度
- 进行结构化剪枝，移除冗余通道（剪枝率20%-40%）
- 最后进行INT8/INT16量化，压缩存储并加速推理
- 在真实MCU上验证延迟、RAM峰值和精度，不满足则回退调整
3.4 常见误区与总结复盘
误区一：追求极致压缩率。压缩率过高会导致精度断崖式下降。在MCU场景中，应优先满足硬件约束，再追求精度最大化，而非反向操作。
误区二：忽略RAM占用。很多开发者只关注Flash中的模型大小，忽略了推理时的中间激活值。一个10KB的模型可能产生50KB的RAM峰值，导致内存溢出。务必使用工具（如STM32Cube.AI）分析峰值RAM。
误区三：量化后不验证。量化对某些层（如BatchNorm、残差连接）特别敏感。建议逐层量化验证，找出精度瓶颈层，对该层保留FP16或使用更高比特。
误区四：剪枝后不微调。剪枝后直接部署会导致精度大幅下降。必须进行至少10-20个epoch的微调，让剩余参数适应新的网络结构。