课程导入：TinyML概述、模型压缩的必要性、知识蒸馏与剪枝的协同作用、课程学习路径与目标

TinyML（微型机器学习）是机器学习与嵌入式物联网系统交叉融合的前沿领域，其核心目标是在功耗受限、计算资源有限、存储空间狭小的微控制器（MCU）或边缘处理器上，部署和运行机器学习推理模型。与云端AI依赖大规模GPU集群不同，TinyML强调在毫瓦甚至微瓦级功耗预算下实现实时智能感知与决策。然而，现代深度学习模型动辄数百万乃至数十亿参数，直接部署到仅有几百KB Flash和几十KB RAM的MCU上完全不现实。因此，模型压缩技术成为TinyML落地的关键使能器。本课程聚焦于知识蒸馏（Knowledge Distillation）与结构化剪枝（Structured Pruning）的协同组合策略，帮助学习者在保持模型精度的前提下，将模型体积压缩至可部署水平。

1.1 TinyML概述与模型压缩的必要性

核心原理：TinyML的边界约束

TinyML并非简单地将深度学习模型缩小，而是要在极端的资源约束下重新设计机器学习系统的软硬件协同方案。典型的TinyML目标硬件包括ARM Cortex-M系列微控制器、RISC-V MCU以及低功耗DSP，这些芯片通常具备以下特征：主频在几十MHz到几百MHz之间，Flash存储容量为256KB至1MB，RAM为64KB至512KB，功耗预算在1mW以下。以STM32L4系列为例，其内置的Cortex-M4F内核主频80MHz，拥有512KB Flash和128KB SRAM，运行TensorFlow Lite Micro时仅能支持约200KB以内的模型权重。

在这种约束下，一个标准的ResNet-50模型（约25.5M参数，占用约102MB存储）显然无法部署。即便是一个轻量级的MobileNetV2（约3.4M参数，约13.6MB），也超出了MCU的存储能力。因此，模型压缩不再是可选项，而是TinyML工程化的必经之路。压缩手段包括量化（Quantization）、剪枝（Pruning）、知识蒸馏（Knowledge Distillation）、低秩分解（Low-rank Factorization）等，本课程重点研究知识蒸馏与结构化剪枝的组合策略。

判断方法：何时需要模型压缩

在实际项目中，判断是否需要模型压缩以及选择何种压缩策略，可依据以下量化指标进行决策：

当模型在目标硬件上无法满足实时性或存储要求时，应启动压缩流程。值得注意的是，先蒸馏后剪枝的顺序通常优于先剪枝后蒸馏，因为蒸馏能先将教师模型的泛化能力迁移到学生模型，使后续剪枝有更高的精度冗余。

案例拆解：智能语音唤醒词检测

假设我们需要在Cortex-M4F MCU上部署一个语音唤醒词检测模型（如"Hi, Robot"）。初始方案采用一个小型CNN模型（5层卷积，约500K参数），在TensorFlow中训练后准确率达到95%。然而，将该模型转换为TensorFlow Lite Micro格式后，发现模型占用Flash 2.1MB，远超MCU的512KB限制，且推理延迟为320ms，无法满足实时响应需求。

我们采用知识蒸馏与剪枝协同方案：首先训练一个参数量为2M的教师模型（准确率97.5%），然后设计一个参数量仅200K的学生模型（初始准确率91%），通过蒸馏训练将学生模型准确率提升至94.8%。接着对学生模型进行结构化剪枝（按BN-Gamma值裁剪40%通道），剪枝后参数量降至120K，准确率下降至93.5%。最后进行微调恢复，准确率回升至94.2%。最终模型占用Flash 480KB，推理延迟降至85ms，满足部署要求。

常见误区与总结

• 误区一：认为剪枝可以完全替代蒸馏。实际上，剪枝只能移除冗余结构，无法弥补模型容量不足带来的欠拟合问题。
• 误区二：忽略硬件特性。非结构化剪枝（如细粒度权重剪枝）虽然压缩率高，但无法在MCU上获得实际加速，必须采用结构化剪枝。
• 误区三：蒸馏时温度系数设置不当。温度过低（T<1）导致软标签接近硬标签，失去蒸馏意义；温度过高（T>10）则使类别分布过于平滑，难以学习。

1.2 知识蒸馏与剪枝的协同作用

核心原理：为什么两者结合优于单一方法

知识蒸馏的本质是知识迁移——通过匹配教师模型的软输出（Soft Logits）或中间特征，将大模型的泛化能力传递给小模型。而剪枝的本质是结构优化——通过移除不重要的通道、滤波器或层，直接降低模型的计算复杂度和存储需求。两者在TinyML场景下具有天然的互补性：蒸馏解决了"小模型精度不足"的问题，剪枝解决了"模型结构冗余"的问题。

协同工作的机制可以概括为：蒸馏提供高精度的起点，剪枝在保持精度的前提下压缩结构，微调进一步恢复精度。具体而言，蒸馏后的学生模型具有更紧凑但信息密集的权重分布，此时进行剪枝，被裁剪的通道往往是冗余度最低的，因此精度损失更小。实验表明，在CIFAR-10图像分类任务上，单独使用50%剪枝率的结构化剪枝会导致ResNet-20精度下降3.8%，而先蒸馏后剪枝（同样50%剪枝率）仅下降1.2%。

操作流程：KD+Pruning协同压缩标准流程

1. 教师模型训练：在完整数据集上训练一个大容量教师模型，确保其精度达到最优水平（通常比目标精度高2%-5%）。
2. 学生模型设计：根据硬件约束（Flash/RAM/延迟）设计紧凑的学生网络结构，参数量约为教师的1/10至1/20。
3. 知识蒸馏训练：使用教师模型的软标签（温度T=3~5）结合真实硬标签训练学生模型，损失函数为 L = α·CE(y_true, y_pred) + β·KL(softmax(z_t/T), softmax(z_s/T))·T²，其中α通常设为0.5~0.7，β设为0.3~0.5。
4. 结构化剪枝：对学生模型进行BN-Gamma稀疏化训练（添加L1正则化），然后按Gamma值排序裁剪低重要性通道，剪枝率从30%开始逐步增加。
5. 微调恢复：在剪枝后的模型上使用较小学习率（1e-4）进行微调，通常需要训练10-20个epoch。
6. 量化部署：将最终模型转换为INT8量化格式，生成TensorFlow Lite Micro或CMSIS-NN兼容的C代码。

案例拆解：关键词分类（KWS）任务

以Google Speech Commands数据集上的12类关键词分类为例。教师模型采用ResNet-8（参数量1.2M），准确率96.8%。学生模型采用DS-CNN（参数量80K），直接训练准确率89.5%。通过蒸馏训练（T=4，α=0.6），学生模型准确率提升至93.2%。随后进行结构化剪枝：对深度可分离卷积的逐通道卷积层按BN-Gamma值裁剪40%通道，剪枝后参数量降至48K，准确率降至92.1%。微调5个epoch后恢复至92.8%。最终模型在Cortex-M7上占用Flash 192KB，RAM 32KB，推理延迟45ms，满足实时唤醒词检测需求。

常见误区与总结

• 误区一：认为蒸馏和剪枝是"二选一"的关系。实际上，两者结合能获得比单一方法更好的精度-压缩比平衡。
• 误区二：剪枝率设置过高。当剪枝率超过70%时，即使有蒸馏辅助，模型精度也会急剧下降。建议从30%开始，以10%为步长递增，观察精度变化曲线。
• 误区三：忽略微调的重要性。剪枝后的模型必须经过微调才能恢复精度，且微调学习率不宜过大（建议≤1e-4），否则会破坏已学到的特征。

1.3 课程学习路径与目标

核心原理：系统化学习路径设计

本课程共30章，按照"基础理论→核心方法→协同策略→工程实践"的递进逻辑组织。前5章聚焦TinyML基础与模型压缩理论；第6-15章深入讲解知识蒸馏的各类变体（离线蒸馏、在线蒸馏、自蒸馏、特征蒸馏等）；第16-22章系统阐述结构化剪枝算法（L1范数剪枝、BN-Gamma剪枝、通道搜索剪枝等）；第23-27章重点讲解KD与剪枝的协同优化策略及工程调优技巧；第28-30章提供完整的端到端项目实战（图像分类、语音唤醒、异常检测）。

课程目标不仅是让学员掌握算法原理，更强调在真实MCU硬件上的部署能力。每章均配备可运行的代码示例、实验数据和性能对比表格，帮助学员建立"算法-硬件"协同优化的工程思维。

学习目标与能力模型

学习方法建议

建议学员按照以下节奏学习：每周完成2-3章内容，每章学习后必须动手运行配套代码，并记录实验数据。对于关键章节（如第8章温度系数调优、第19章BN-Gamma剪枝），建议进行参数敏感性分析实验。同时，建议准备一块STM32F746G-DISCO或ESP32-S3开发板，用于验证模型部署效果。

总结与复盘

本章作为课程导入，明确了TinyML的边界约束、模型压缩的必要性、知识蒸馏与剪枝的协同逻辑以及课程学习路径。核心要点包括：TinyML的硬件约束决定了模型压缩的必然性；知识蒸馏解决"小模型精度不足"问题，结构化剪枝解决"结构冗余"问题，两者结合能获得最优的精度-压缩比；课程按照"理论→方法→协同→实战"四阶段递进，强调动手实践与硬件部署能力。