4、TinyML核心概念：理解模型量化、剪枝、蒸馏等压缩技术，以及它们在嵌入式设备上的作用

在嵌入式设备上部署AI模型，最直接的挑战并非算法精度，而是资源约束。一颗典型的STM32F4系列微控制器，其Flash通常为512KB~1MB，RAM仅为128KB~192KB，主频在168MHz~180MHz之间。一个用于图像分类的经典MobileNetV1模型，其参数量约为420万，权重文件大小约16MB——这已经远超STM32的Flash容量。更不用说模型推理时的中间特征图内存占用和乘加运算量。因此，将训练好的深度学习模型从PC端迁移到MCU端，必须经历一系列模型压缩与优化过程。本章将深入剖析TinyML三大核心压缩技术：量化、剪枝与知识蒸馏，并阐明它们在嵌入式设备上的具体作用与工程实践路径。

上图展示了三种压缩技术在TinyML工程链路中的位置与关系。量化、剪枝、蒸馏并非互斥方案，在实际项目中往往组合使用，以达到存储、内存、算力与精度的综合最优。下面逐一展开其核心原理与嵌入式适配方法。

4.1 模型量化：从FP32到INT8的精度换资源

核心原理

量化是将神经网络中的权重和激活值从32位浮点数（FP32）映射到低比特位表示（如INT8、INT16或甚至INT4）的过程。其数学本质是：

r = S × (q - Z)

其中，r为原始浮点值，q为量化后的整数值，S为缩放因子（浮点标量），Z为零点（整数偏移）。对于对称量化，Z=0，公式简化为r = S × q。STM32Cube.AI工具链支持两种主要量化模式：训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）。PTQ直接对训练好的FP32模型进行校准，无需重新训练，但精度损失相对较大；QAT在训练过程中模拟量化误差，使模型权重适应低比特表示，精度保持更好，但需要原始训练数据和较长的训练时间。

判断方法与操作流程

选择PTQ还是QAT，取决于精度敏感度与工程成本。以下为判断路径：

1. 评估精度基线：在PC端使用验证集测试FP32模型的Top-1/Top-5精度或mAP。
2. 尝试PTQ：使用Cube.AI或STM32CubeMX中的模型转换工具，直接生成INT8量化模型，在目标板上运行并测量精度。
3. 对比精度损失：若精度损失小于2%，则采用PTQ方案；若损失在2%~5%之间，可尝试混合量化（部分层保持FP16）；若损失超过5%，则必须采用QAT。
4. 实施QAT：在TensorFlow或PyTorch中加载预训练模型，插入伪量化节点，使用原始训练数据微调3~5个epoch。

案例拆解：关键词唤醒模型量化

某智能家居项目需要在STM32F746上部署关键词唤醒模型（识别“你好，小智”），原始模型为2层CNN+2层全连接，参数量约180K，FP32权重文件大小720KB，Flash剩余空间仅512KB。初始现象：FP32模型无法完整烧录。关键指标：模型精度98.2%，推理延迟120ms。分析过程：采用PTQ对称量化，使用500张语音频谱图作为校准集，量化后权重文件降至180KB，Flash占用满足要求。实际操作：在Cube.AI中配置量化位宽为INT8，启用每通道量化（per-channel），而非全局量化（per-tensor），以减少精度损失。结果对比：量化后精度降至96.8%（损失1.4%），推理延迟降至45ms，满足实时性要求。风险与代价：校准集需覆盖不同说话人、不同噪声环境，否则量化范围不准确导致精度骤降。复盘经验：对于语音类模型，输入特征的动态范围较大，建议使用per-channel量化，并保留第一层为FP16以稳定输入分布。

常见误区与复盘

4.2 剪枝：剔除冗余参数，让模型更苗条

核心原理

剪枝的核心思想是移除神经网络中对最终输出贡献较小的权重连接、神经元或整个通道。根据粒度不同，分为非结构化剪枝（移除单个权重）和结构化剪枝（移除整个卷积核或通道）。非结构化剪枝会产生稀疏矩阵，需要专门的稀疏存储格式和计算库才能发挥加速效果，而STM32上的CMSIS-NN对稀疏矩阵支持有限，因此嵌入式场景更推荐结构化剪枝。结构化剪枝直接减少卷积层的输入/输出通道数，从而降低计算量和内存占用，且不需要特殊硬件支持。

判断方法与操作流程

剪枝的工程流程遵循“训练-剪枝-微调”循环：

1. 训练基线模型：确保FP32模型精度达到目标。
2. 计算重要性得分：常用方法包括权重值（L1/L2范数）、BN层缩放因子（γ）、梯度敏感度等。对于CNN，BN层的γ值直接反映了通道的重要性。
3. 设定剪枝率：从10%开始，逐步增加至30%~50%，观察精度变化曲线。
4. 执行剪枝：移除得分低于阈值的通道，生成紧凑模型结构。
5. 微调恢复：使用原始训练数据对剪枝后的模型进行微调，通常需要原训练时间的10%~20%即可恢复大部分精度。

案例拆解：工业缺陷检测模型剪枝

某PCB缺陷检测项目使用STM32H743（2MB Flash, 1MB RAM），原始模型为ResNet-18变体，参数量11M，权重44MB，远超Flash容量。初始目标：将模型压缩至1.5MB以内，同时保持检测精度≥95%。关键输入：训练集包含5000张PCB图像，缺陷类型6种。分析过程：采用基于BN层γ值的结构化剪枝，设定全局剪枝率40%。实际操作：在PyTorch中加载预训练模型，遍历所有BN层，计算γ均值，将低于全局阈值（γ<0.01）的通道全部移除。剪枝后模型参数量降至6.5M，权重26MB，仍超限。进一步结合量化（INT8），权重降至6.5MB，仍超限。最终采用剪枝+量化+知识蒸馏组合方案，将模型压缩至1.2MB。结果对比：剪枝+量化后精度降至91%，通过蒸馏（以原始ResNet-18为教师）微调后精度恢复至96.3%。风险与代价：剪枝率过高（>60%）导致模型结构严重变形，微调难以收敛。复盘经验：剪枝应分层进行，浅层卷积保留更多通道，深层可大幅剪枝；同时剪枝与量化存在协同效应，先剪枝后量化比先量化后剪枝精度损失更小。

常见误区与复盘

4.3 知识蒸馏：让大模型当老师，小模型当学生

核心原理

知识蒸馏（Knowledge Distillation, KD）是一种模型压缩范式，通过训练一个参数量较小的“学生模型”去模仿一个参数量较大的“教师模型”的输出行为。其核心在于使用教师模型的软标签（Soft Labels，即类别概率分布）而非硬标签（One-hot）来训练学生模型。软标签包含了类别间的相似性信息（例如“猫”和“狗”的概率分布），这比硬标签提供了更丰富的监督信号。蒸馏损失函数通常为：

L = α × L_hard + (1-α) × L_soft

其中，L_hard为交叉熵损失（学生输出与真实标签），L_soft为蒸馏损失（学生输出与教师软标签的KL散度），α为权重系数，温度参数T控制软标签的平滑程度。

判断方法与操作流程

蒸馏适用于以下场景：已有高性能大模型（教师），但部署资源受限；或从零训练小模型精度不达标。操作流程：

1. 准备教师模型：使用完整数据集训练或获取一个高精度大模型。
2. 设计学生模型：根据STM32资源约束（Flash/RAM/算力）设计紧凑网络结构，如使用深度可分离卷积替代标准卷积。
3. 生成软标签：将训练数据通过教师模型前向传播，保存logits（softmax前的输出），设置温度T（通常4~8）软化概率分布。
4. 联合训练：学生模型同时优化硬标签损失和软标签蒸馏损失。
5. 部署验证：将学生模型导出为ONNX或TFLite，导入Cube.AI生成STM32工程。

案例拆解：手势识别模型蒸馏

某可穿戴设备项目需要在STM32L4（512KB Flash, 160KB RAM）上部署手势识别模型（识别6种手势），原始方案直接训练一个4层CNN，参数量800K，权重3.2MB，Flash超限。初始现象：模型无法部署。关键指标：目标精度≥90%，推理延迟≤50ms。分析过程：直接压缩模型至200K参数，精度仅82%，不达标。实际操作：采用蒸馏方案——教师模型为8层ResNet（参数量2.1M，精度97%），学生模型为3层深度可分离卷积网络（参数量180K）。使用温度T=6，α=0.7，训练50个epoch。结果对比：学生模型精度达到92.5%，权重720KB，量化至INT8后180KB，Flash占用满足要求，推理延迟28ms。风险与代价：蒸馏训练时间较长（需先训练教师模型），且学生模型结构设计需要经验。复盘经验：学生模型的宽度（通道数）比深度更重要；在资源受限时，优先增加通道数而非层数。此外，蒸馏后的模型对量化误差的鲁棒性更好，因为软标签提供了更平滑的梯度信号。

常见误区与复盘

综合来看，量化、剪枝与蒸馏构成了TinyML模型压缩的“三驾马车”。量化解决存储与带宽瓶颈，剪枝削减计算冗余，蒸馏则提升小模型的学习上限。在STM32CubeMX的AI模型集成流程中，建议先使用蒸馏训练一个紧凑的学生模型，再执行结构化剪枝，最后进行INT8量化。这一组合流水线已在多个工业项目中验证，能够在保持精度损失小于2%的前提下，实现10倍以上的模型压缩，使复杂的深度学习模型真正在Cortex-M内核上高效运行。