3、TinyML基础：模型量化、剪枝、知识蒸馏等压缩技术，以及为何需要这些技术

在嵌入式设备上部署深度学习模型，尤其是像手势识别这样的实时推理任务，我们首先面对的是一个残酷的物理现实：目标硬件（如Arm Cortex-M系列微控制器搭配Ethos-U55/U65 NPU）的存储容量以MB甚至KB计算，内存以几百KB计算，而主频通常在几百MHz。一个标准的浮点卷积神经网络模型，其参数量动辄数MB，单次推理的乘加运算量高达数千万次，这远远超出了MCU的承受范围。因此，模型压缩不是可选项，而是TinyML工程化的必经之路。本章将深入剖析三种最核心的压缩技术——量化、剪枝与知识蒸馏，并结合Ethos-U的实际部署场景，讲解其原理、操作流程与工程取舍。

上图展示了本章的核心知识框架。我们将沿着“为什么需要压缩”到“三种主流技术如何工作”再到“如何组合应用”的逻辑主线展开。在Ethos-U这类异构计算单元上，量化不仅是体积优化，更是激活NPU向量单元的前提；剪枝则直接减少计算密度；而知识蒸馏为前两者提供了精度保障。理解三者的协同关系，是进行高效TinyML部署的关键。

3.1 为什么TinyML必须进行模型压缩

核心原理：MCU的资源天花板与模型需求的鸿沟

以典型的手势识别模型为例，一个在GPU上表现良好的ResNet-50模型，其参数量约为25.5M，若以FP32存储，体积高达102MB。而主流TinyML硬件平台，如Arm Cortex-M55搭配Ethos-U55，其片上Flash通常为2MB，SRAM为1MB左右。即便使用Cortex-M7系列，内部Flash也极少超过2MB。这意味着，不压缩的模型根本无法烧录进芯片，更不用说运行时还需要为中间特征图分配内存。

除了存储，计算能力也是硬约束。MCU的CPU主频通常在100-400MHz之间，且没有GPU的大规模并行能力。一个包含数百万次乘加运算的浮点卷积层，在MCU上可能需要数秒才能完成，这完全无法满足实时手势识别（通常要求<100ms）的需求。因此，模型压缩的本质，是在资源受限与功能需求之间寻找平衡点。

判断方法：如何评估一个模型是否需要压缩

在项目启动阶段，我们可以通过以下三个维度的快速评估，来判断压缩的必要性和目标：

例如，一个针对3轴加速度计数据的1D-CNN模型，若其第一层卷积核为64个，输入窗口为128，那么仅这一层的MACs就约为 64×128×3×3 = 73,728次。虽然看似不大，但若网络有10层，总MACs将迅速攀升至千万级别。此时，就需要考虑使用INT8量化来加速计算。

案例拆解：从“跑不动”到“实时响应”的转变

假设我们有一个用于识别“握拳、张开、左右挥动”三种手势的模型，原始模型基于MobileNetV2架构，输入为64×64×3的灰度图像。该模型在PC上准确率为95%，但模型大小为13.5MB，单次推理需要220ms（在Cortex-M7上模拟）。显然，这无法部署。

初始目标：将模型压缩至1MB以内，推理时间<80ms，准确率下降不超过2%。

分析过程：我们首先使用TensorFlow Lite Converter进行后训练动态范围量化，将权重从FP32转为INT8。模型体积立即降至3.4MB，但推理时间仅降至180ms，因为动态范围量化只优化了存储，计算仍以浮点进行。接着，我们改用全整型量化，将激活值也量化为INT8，并指定Ethos-U作为目标硬件。此时，模型体积降至1.1MB，推理时间降至95ms，准确率降至93.2%。

操作步骤：为了进一步压缩体积并提升速度，我们引入了结构化剪枝，将MobileNetV2中贡献度较低的通道（通过BN层gamma值判断）剪掉30%。剪枝后重新训练，模型体积降至0.8MB，推理时间降至70ms，准确率恢复至93.8%。最终，我们对该剪枝模型进行量化感知训练，在训练过程中模拟INT8的舍入误差，最终准确率稳定在93.5%，满足需求。

3.2 量化：让模型“说”整数语言

核心原理：从FP32到INT8的映射与计算

量化是将神经网络中的权重和激活值从32位浮点数（FP32）映射到低比特整数（如INT8、INT16）的过程。其数学基础是仿射变换：r = S × (q - Z)，其中 r 是原始浮点值，q 是量化后的整数值，S 是缩放因子（浮点数），Z 是零点（整数）。在Ethos-U上，NPU核心执行的是INT8或INT16的乘加运算，其速度远快于CPU的浮点运算。

量化的核心挑战在于精度损失。当浮点数值范围较大且分布不均时，简单的线性映射会引入较大的舍入误差。因此，我们需要根据张量的实际数值分布来选择合适的 S 和 Z。例如，对于ReLU后的激活值（非负），我们通常使用非对称量化，将零点设为0，以充分利用INT8的256个离散级别。

操作流程：三种量化方式的对比与选择

1. 后训练动态范围量化：仅量化权重，激活值在推理时动态转换为INT8。实现简单，但加速有限，适合快速验证。
2. 后训练全整型量化：使用代表性数据集校准，确定激活值的动态范围，将权重和激活值均量化为INT8。这是Ethos-U部署的最低要求，能充分利用NPU。
3. 量化感知训练：在训练过程中插入伪量化节点，模拟量化误差，让网络自适应调整权重。精度最高，但需要训练数据和计算资源。

在Ethos-U部署流程中，我们通常使用Vela编译器（Arm官方工具）来优化网络图。Vela要求输入模型为全整型量化的TensorFlow Lite格式。若使用动态范围量化，Vela会将部分算子回退到CPU执行，导致性能下降。

实战场景：量化参数的选择与校准

假设我们有一个手势识别模型，其最后一层全连接层的权重分布范围是[-0.5, 0.5]，而第一层卷积的权重范围是[-2.0, 2.0]。如果使用全局统一的量化参数，会导致第一层的量化精度不足。因此，TensorFlow Lite Converter允许按张量独立计算 S 和 Z。校准过程使用约100-1000张代表性图片，统计每层激活值的min/max值。

# 伪代码示例：使用TensorFlow Lite Converter进行全整型量化
import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model('./gesture_model')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen  # 校准数据集
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8  # 输入也量化为INT8
converter.inference_output_type = tf.int8
tflite_model = converter.convert()

3.3 剪枝：剔除冗余，让模型“瘦身”

核心原理：寻找并移除不重要的参数

剪枝的核心思想是，神经网络中存在大量冗余参数，移除它们对最终输出的影响微乎其微。剪枝分为非结构化剪枝和结构化剪枝。非结构化剪枝将单个权重置零，导致权重矩阵稀疏，但需要特殊的硬件或库才能加速，在MCU上收益不大。结构化剪枝则移除整个卷积核（Channel Pruning）或整个层，直接减少计算量和内存占用，更适合Ethos-U这类硬件。

判断一个通道是否“重要”，常用方法包括：

• 基于BN层缩放因子：在训练时对BN层的gamma系数施加L1正则化，使得不重要的通道gamma值趋近于0。剪枝时，移除gamma值低于阈值的通道。
• 基于权重幅值：计算每个卷积核的L2范数，范数小的认为贡献低。

操作流程：剪枝-微调循环

1. 训练基准模型：先训练一个精度达标的模型。
2. 评估通道重要性：根据上述方法计算每个通道的得分。
3. 设定剪枝比例：例如，剪去30%的通道。需要根据硬件目标（如MACs上限）反推。
4. 执行剪枝：物理移除对应的卷积核，生成一个更窄的网络。
5. 微调：使用较小的学习率重新训练剪枝后的模型，恢复精度。

在Ethos-U上，剪枝后的模型如果通道数变为4的倍数，NPU的利用率会更高，因为Ethos-U的硬件加速器通常按4或8的倍数对齐数据。

案例拆解：剪枝比例与精度损失的权衡

我们继续使用3.1节中的手势识别模型。初始模型MACs为120M，准确率95%。我们尝试不同的剪枝比例：

从表中可见，40%剪枝配合微调，准确率仅下降2.7%，但MACs减少了40%，这对延迟的改善是巨大的。而60%剪枝则导致模型容量不足，微调也难以恢复。

3.4 知识蒸馏：让“小模型”向“大模型”学习

核心原理：软标签与温度系数

知识蒸馏是一种模型压缩技术，其核心是训练一个参数量较小的“学生模型”，去模仿一个参数量庞大的“教师模型”的输出行为。教师模型可以是未压缩的原始网络，也可以是多个模型的集成。学生模型不仅学习教师模型的硬标签（即最终的类别判断），更重要的是学习其软标签——即各类别的概率分布。

软标签中包含了“类别间相似性”的信息。例如，对于“握拳”手势，教师模型可能输出“握拳”概率0.8，“半握拳”概率0.15，“张开”概率0.05。这种分布告诉学生模型，“半握拳”与“握拳”在特征空间上更接近。为了让学生模型更好地学习这种分布，我们引入温度系数 T，对softmax函数进行平滑处理：softmax(z/T)。T越大，输出的分布越平滑，越能揭示类别间的潜在关系。

操作流程：蒸馏训练的实施步骤

1. 训练教师模型：使用完整数据集训练一个高精度的大模型（如ResNet-50）。
2. 生成软标签：用教师模型对训练集进行推理，保存每个样本的logits（softmax之前的输出）。
3. 定义学生模型：设计一个结构更紧凑的网络（如一个3层卷积的小网络）。
4. 设计损失函数：总损失 = α × 交叉熵(学生硬输出, 真实标签) + (1-α) × 蒸馏损失(学生软输出, 教师软输出)。蒸馏损失通常使用KL散度。
5. 训练学生模型：使用相同的训练集，但优化目标变为上述组合损失。

实战场景：蒸馏与量化的结合

在TinyML中，知识蒸馏常与量化结合使用。一个典型的流程是：先训练一个FP32的大模型作为教师，然后训练一个参数量更小的学生模型（例如，通道数减半）。接着，对这个学生模型进行量化感知训练。由于学生模型本身容量小，其量化后的精度损失通常比直接量化原始大模型要小。

例如，在Ethos-U上部署手势识别，我们可能设计一个教师模型（准确率97%），然后蒸馏出一个仅有3个深度可分离卷积层的学生模型（参数量仅为教师的1/10）。该学生模型在FP32下准确率为94%，经过INT8量化后，准确率仍能保持93.2%。而如果直接量化教师模型，其INT8版本准确率可能降至90%以下，且体积依然超标。

3.5 组合策略与常见误区

核心原理：压缩技术的协同与顺序

在真实的Ethos-U项目中，三种技术通常不是孤立使用的。推荐的组合顺序是：先蒸馏，再剪枝，最后量化。蒸馏先为学生模型奠定一个良好的精度起点；剪枝进一步压缩计算量；量化则完成最后的存储和NPU适配。每一步操作后，都需要进行微调或重训练来恢复精度。

常见误区与风险规避

• 误区一：只做量化，不做剪枝。 量化能减小体积和加速，但无法减少MACs。如果模型本身计算量巨大，量化后延迟依然超标。
• 误区二：忽视校准数据集的质量。 全整型量化依赖校准数据集来统计激活值范围。如果校准集样本过少或分布不均，会导致量化后精度骤降。
• 误区三：剪枝后不进行微调。 剪枝必然造成精度损失，不微调直接部署，模型可能完全不可用。
• 误区四：认为蒸馏可以完全替代剪枝和量化。 蒸馏只能缩小模型规模，但无法改变模型的计算模式。一个蒸馏后的小模型，如果不进行量化，依然无法在Ethos-U上高效运行。

总结复盘：一个可复用的部署决策流程

通过上述流程，我们能够系统性地将一个大体积、高延迟的浮点模型，转化为一个适合Ethos-U部署的轻量级、实时推理的INT8模型。记住，每一步的取舍都需要以最终硬件上的实测数据为准，而不是仅看PC端的模拟结果。