嵌入式机器学习基础：边缘计算、模型压缩、量化、剪枝、知识蒸馏等核心概念
在进入TinyML目标检测模型部署与优化的具体实践之前，必须先建立一套完整的理论坐标系。嵌入式机器学习并非简单地将深度学习模型“塞进”单片机，而是一个涉及计算范式迁移、模型表示重构与硬件约束适配的系统工程。本章将围绕边缘计算的基本逻辑、模型压缩的三大核心手段（量化、剪枝、知识蒸馏）及其在Ethos-U这类NPU（神经网络处理单元）上的适用性展开深度剖析，帮助你在动手编写部署代码之前，先理解“为什么这样做”以及“代价与收益如何权衡”。
2.1 边缘计算：为什么TinyML必须走向端侧
边缘计算（Edge Computing）的核心思想是将数据处理能力从云端数据中心下沉到网络边缘节点，即数据产生的地方。在TinyML场景中，这个“边缘”通常指MCU（微控制器）或集成NPU的SoC，例如Arm Cortex-M系列搭配Ethos-U55/U65。与云端GPU服务器相比，这些设备的算力可能相差三个数量级以上，但它们的优势在于：物理距离近、响应时间短、数据不出本地、功耗极低。
以工业视觉检测为例，一条产线每秒产生数十帧图像，若全部上传云端，网络延迟和带宽成本将不可接受。更重要的是，某些场景（如医疗影像、军事侦察）对数据隐私有严格合规要求，数据不能离开设备。边缘计算将推理过程本地化，使得实时性、隐私性和可靠性同时得到保障。但代价是：模型必须被压缩到足以在KB级内存中运行，且推理精度不能显著下降。
2.2 模型压缩全景：三类技术的定位与协同
模型压缩并非单一技术，而是一套组合拳。在TinyML目标检测场景中，通常需要同时使用量化、剪枝和知识蒸馏，才能将YOLO类模型从几十MB压缩到几百KB。下表对比了三种技术的核心差异：
| 压缩技术 | 原理 | 主要收益 | 典型压缩比 | 对Ethos-U的适配性 |
|---|---|---|---|---|
| 量化 | 降低数值精度（FP32→INT8） | 存储减少4倍，推理加速2-4倍 | 3-4x | 极高（NPU原生支持INT8） |
| 剪枝 | 移除不重要的权重或通道 | 稀疏化后存储减少，计算量下降 | 2-10x（视稀疏度） | 中等（需结构化剪枝才能利用NPU） |
| 知识蒸馏 | 大模型（教师）指导小模型（学生） | 小模型获得更高精度上限 | 不直接压缩，但提升小模型精度 | 高（训练阶段完成，部署无额外开销） |
2.2.1 量化：从FP32到INT8的工程实践
量化是将神经网络中的权重和激活值从32位浮点数映射到8位整数（或更低比特）的过程。在Ethos-U上，INT8量化是默认且最高效的格式，因为NPU的MAC（乘累加）阵列专门为低精度计算优化。量化分为训练后量化（PTQ）和量化感知训练（QAT）两种路径。
PTQ的流程是：先训练一个FP32模型，然后收集校准数据集（通常500-1000张代表性图片），统计每层激活值的动态范围，计算缩放因子（scale）和零点（zero point），最后将权重和激活映射到INT8。PTQ实现简单，但当模型对数值敏感（如目标检测的边界框回归头）时，精度可能下降2-5%。QAT则在训练过程中模拟量化误差，让模型自适应调整权重分布，精度损失通常控制在1%以内，但需要重新训练模型。
# 伪代码：PTQ校准流程（以TensorFlow Lite为例）
import tensorflow as tf
# 加载FP32模型
model = tf.keras.models.load_model('yolo_fp32.h5')
# 定义校准数据集生成器
def representative_dataset():
for image in calibration_images: # 500张代表性图片
yield [image.astype(np.float32)]
# 转换器配置
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
# 生成INT8模型
tflite_model = converter.convert()
2.2.2 剪枝：结构化与非结构化的选择
剪枝的目标是移除对模型输出影响较小的权重或通道。非结构化剪枝将单个权重置零，产生稀疏矩阵，但这类稀疏性在NPU上难以加速，因为硬件无法跳过随机零值。结构化剪枝则移除整个卷积核或通道，保持矩阵的稠密性，从而真正减少计算量。
对于Ethos-U这类NPU，推荐采用通道剪枝。具体操作是：训练后计算每个通道的L2范数或BN层缩放因子，将贡献低的通道裁剪掉，然后微调模型恢复精度。一个实用的流程是：先剪枝20%通道，评估精度；若损失小于1%，继续增加剪枝比例；若损失超过阈值，则回退并微调。
2.2.3 知识蒸馏：让轻量模型“继承”大模型能力
知识蒸馏的核心思想是：用一个强大的教师模型（如YOLOv8-Large）的软标签（soft labels）来训练一个轻量的学生模型（如YOLOv8-Nano）。软标签包含了类别间的相似性信息（例如“猫”和“狗”的概率分布），这比硬标签（0/1）携带更多监督信号。
在TinyML场景中，蒸馏通常在训练阶段完成，部署时学生模型与普通模型无异，不增加任何推理开销。一个有效的蒸馏损失函数通常结合了硬标签交叉熵和软标签KL散度：
L = α * L_hard(y_true, y_pred) + β * L_soft(teacher_logits, student_logits)其中α和β是权重系数，通常β取0.5-0.7。温度参数T控制软标签的平滑程度，T越高，类别间信息越丰富。实践中，T=3-5效果较好。
2.3 案例拆解：将YOLOv8n压缩至Ethos-U可运行的完整链路
下面通过一个实际项目来串联上述概念。假设我们需要在Cortex-M55+Ethos-U55（2TOPS算力，2MB SRAM）上运行一个实时人员检测模型，输入为96x96灰度图，帧率要求≥10FPS。
初始状态：使用YOLOv8n（参数量3.2M，FP32权重约12.8MB），在COCO数据集上预训练。直接部署显然不可能——模型超出Flash容量，且FP32计算在NPU上无法高效执行。
压缩步骤：
- 知识蒸馏：使用YOLOv8s（11.2M参数）作为教师，蒸馏训练YOLOv8n，使学生模型的mAP从37.3提升至39.1（提升1.8个百分点）。
- 通道剪枝：对蒸馏后的模型进行通道剪枝，裁剪掉40%的通道，参数量降至1.9M，mAP下降至36.8（损失0.3，可接受）。
- INT8量化：使用500张现场采集的监控图像进行PTQ校准，模型大小从7.6MB降至1.9MB（含权重和激活），mAP进一步下降至35.9（量化损失0.9）。
- Vela编译：将TFLite INT8模型输入Vela编译器，生成针对Ethos-U55优化的二进制。Vela自动完成算子融合、内存复用和DMA调度。
结果对比：
| 指标 | 原始FP32模型 | 压缩后INT8模型 | 变化 |
|---|---|---|---|
| 模型大小 | 12.8 MB | 1.9 MB | ↓ 85% |
| 峰值RAM | 无法运行 | 1.2 MB | 适配2MB SRAM |
| 单帧推理时间 | — | 82 ms | ≈12 FPS |
| mAP@0.5 | 37.3 | 35.9 | ↓ 1.4 |
复盘与代价：整个压缩流程耗时约3人天，其中蒸馏训练占2天，剪枝和量化各占半天。精度损失1.4个百分点在人员检测场景中可接受（漏检率仅增加约2%）。但需要注意，剪枝后的模型对光照变化更敏感，在逆光场景下误检率上升。为此，我们在校准数据集中增加了20%的逆光样本，最终将误检率降回可接受范围。
2.4 常见误区与总结复盘
在嵌入式机器学习实践中，初学者常陷入以下误区：
- 误区一：先训练再压缩。正确做法是“压缩感知训练”，即在训练阶段就考虑量化误差和剪枝结构，否则后期压缩可能造成精度崩塌。
- 误区二：追求极致压缩比。当模型压缩超过80%时，精度往往呈指数级下降。应设定精度下限（如mAP≥35），再反向推导压缩上限。
- 误区三：忽略NPU特性。Ethos-U对算子支持有限（如不支持某些激活函数），在模型设计阶段就应避免使用SiLU、GELU等复杂激活，改用ReLU或Hard-Swish。
- 误区四：只关注模型大小，忽略内存峰值。目标检测模型的特征图（Feature Map）可能占据大量RAM，需通过输入尺寸裁剪和网络结构设计来控制峰值内存。