2、TinyML基础回顾：模型压缩、量化、剪枝、知识蒸馏等关键技术与质量影响

TinyML 的核心挑战在于：如何在资源极度受限的MCU（通常只有几十到几百KB的RAM和Flash）上，部署原本需要数GB存储和数瓦功耗的深度学习模型。模型压缩技术因此成为TinyML从实验走向量产的必经之路。然而，每一项压缩技术都不是“无损”的——它们会在模型大小、推理速度、功耗与精度之间做出权衡，并直接影响最终固件的质量属性。理解这些技术的原理及其对质量的影响，是建立有效测试闭环的前提。

上图展示了从原始训练模型到TinyML部署模型的四条主要压缩路径，以及它们与质量保障测试闭环的关系。下面逐一剖析每项技术的原理、操作方法和质量影响。

2.1 量化：精度与数值范围的博弈

核心原理

量化是将模型权重和激活值从高精度浮点数（FP32）映射到低精度整数（INT8、INT16）或更低比特位的过程。以最常见的INT8量化为例，其映射公式为：

real_value = scale * (quantized_value - zero_point)

其中 scale 是缩放因子（浮点数），zero_point 是零点偏移（整数）。量化的本质是用有限的离散值来近似连续的浮点分布，因此必然引入量化误差。误差大小取决于两个因素：数值动态范围（即权重/激活值的最大最小值跨度）和量化粒度（逐张量、逐通道或逐层）。

操作流程与判断方法

1. 校准数据准备：选取500~1000个有代表性的真实输入样本，覆盖典型工况。
2. 统计激活分布：运行模型记录每层激活值的min/max或百分位数（如99.99%）。
3. 选择量化方案：对称量化（适用于权重）vs 非对称量化（适用于激活）；逐层 vs 逐通道。
4. 量化后评估：在验证集上对比FP32与INT8的精度差异，通常要求Top-1精度损失 < 1%。

案例拆解：振动传感器故障诊断的量化实战

某工业设备预测性维护项目，原始CNN模型（3个卷积层+2个全连接层）在FP32下精度为97.2%，模型大小4.8MB。目标MCU为Cortex-M4，Flash 512KB，RAM 128KB。

初始现象：直接使用逐层INT8量化后，精度骤降至82.5%，且推理结果出现大量“全零”输出。

分析过程：检查各层激活分布发现，第2个卷积层的激活值存在少量极大值（振动冲击信号），导致该层scale被拉大，正常振动特征被压缩到0~3的整数区间，信息几乎完全丢失。

解决步骤：

1. 改用逐通道量化，为每个卷积核单独计算scale。
2. 对激活值采用99.9%百分位截断，忽略极端冲击值。
3. 将第一层和最后一层保留FP16（MCU支持软浮点），中间层使用INT8。

结果对比：混合精度方案将模型压缩至412KB，精度恢复至96.8%，推理时间从38ms降至14ms。代价是Flash占用比纯INT8多出约60KB，但仍在预算内。

2.2 剪枝：结构化与非结构化的取舍

核心原理

剪枝是移除神经网络中“不重要”的权重连接、通道或层。非结构化剪枝将单个权重置零，产生稀疏矩阵，但需要特殊硬件支持才能加速；结构化剪枝直接删除整个卷积通道或神经元，能直接减少计算量和内存占用，更适合MCU部署。

判断方法与实施步骤

• 重要性评估：基于权重值（L1/L2范数）、梯度信息或BN层缩放因子（γ）判断通道重要性。
• 迭代剪枝：每次剪掉10%~20%的通道，微调（fine-tune）恢复精度，重复直到满足目标。
• 全局 vs 局部：全局剪枝按统一阈值处理所有层，局部剪枝为每层设置独立阈值。

常见误区

误区一：认为剪枝后必须微调。实际上，对于小模型（<1M参数），剪枝后不微调往往导致精度损失超过5%。误区二：只关注权重稀疏度而忽略内存访问的连续性。非结构化剪枝在MCU上可能因为索引开销反而变慢。

2.3 知识蒸馏：软标签的知识迁移

核心原理

知识蒸馏（Knowledge Distillation, KD）让一个小模型（学生）学习大模型（教师）的输出分布，而不仅仅是硬标签。教师模型的软输出（soft logits）包含了类别间的相似性信息（例如“猫”和“狗”的概率分布），这些信息比独热编码更丰富。蒸馏损失函数为：

L = α * L_hard(y_student, y_true) + (1-α) * T² * KL(softmax(z_teacher/T), softmax(z_student/T))

其中 T 是温度参数，控制软标签的平滑程度；α 是硬标签损失与软标签损失的权重。

操作流程

1. 训练一个高精度大模型（教师），通常为FP32、参数量在10M以上。
2. 设计小模型（学生）架构，参数量为目标MCU可承受范围。
3. 用教师模型在训练集上生成软标签（logits），保存为离线文件。
4. 联合训练学生模型：同时优化硬标签交叉熵和软标签KL散度。
5. 温度T从4开始，逐步降低到1，观察学生模型收敛情况。

案例拆解：关键词唤醒（KWS）模型的蒸馏实践

某智能音箱项目需要将“小爱同学”唤醒词模型从2.3MB压缩到80KB以内。教师模型为ResNet-8（精度98.1%），学生模型为深度可分离卷积网络（仅3层）。

关键参数：温度T=6，α=0.7，训练50个epoch。初始学生模型直接训练精度仅91.3%，使用KD后提升至96.8%。进一步结合INT8量化后，最终精度95.9%，模型大小76KB，满足要求。

复盘经验：KD对T值敏感，T过小（<2）软标签接近硬标签，失去迁移意义；T过大（>10）则类别间差异被过度平滑，学生模型难以区分相似类别。建议在验证集上做T的网格搜索。

2.4 低秩分解与混合压缩策略

核心原理

低秩分解将权重矩阵W（m×n）近似为两个小矩阵的乘积：W ≈ U·V，其中U为m×r，V为r×n，r远小于min(m,n)。全连接层和1x1卷积层最适合低秩分解。SVD（奇异值分解）是最常用的方法，但分解后需要微调以恢复精度。

混合压缩策略

实际TinyML项目很少只用单一技术，而是组合使用。推荐的组合顺序为：

2.5 压缩对质量保障的深层影响

数值一致性风险

量化后的INT8模型在MCU上的推理结果与PC端仿真结果可能存在差异，原因包括：

• MCU的整数乘法累加（MAC）操作可能溢出（INT8乘法结果需要INT32累加器）。
• 不同编译器对整数除法和移位操作的舍入方式不同。
• 激活函数的实现差异（如sigmoid用查表法 vs 多项式近似）。

测试策略调整

传统ML测试只关注精度指标，TinyML质量保障需要增加：

1. 逐层数值对比：在PC上导出每层输出张量，与MCU实际输出对比，设置阈值（如最大误差 < 0.5）。
2. 边界输入测试：量化模型对输入噪声更敏感，需测试极端亮度、极端音量等边界条件。
3. 长期稳定性测试：量化模型的数值漂移可能在长时间运行后累积，需进行72小时连续推理测试。

总结复盘