课程导入：TinyML概述、模型压缩技术全景、剪枝与稀疏化的定义、课程目标与学习路径
TinyML（微型机器学习）是机器学习与嵌入式物联网系统交叉融合的前沿领域，其核心目标是在功耗受限、计算资源有限、存储空间狭小的微控制器（MCU）或边缘处理器上，部署和运行机器学习推理模型。与云端AI依赖大规模GPU集群不同，TinyML设备通常只有几百KB的Flash和几十KB的RAM，工作功耗往往被限制在毫瓦甚至微瓦级别。这种极端的资源约束，使得传统的深度学习模型几乎无法直接部署——一个标准的MobileNetV2模型权重约14MB，而一颗Cortex-M4内核的MCU通常只有512KB Flash。因此，模型压缩技术成为TinyML落地的关键前置条件。本课程聚焦于剪枝（Pruning）与稀疏化（Sparsity）两大核心技术，帮助学习者掌握在资源受限环境下高效部署神经网络的方法论。
1.1 TinyML概述：从云到端的范式转移
TinyML并非简单地将模型缩小后塞入单片机，而是一套完整的工程方法论，涉及模型设计、压缩、编译优化、运行时调度和硬件适配。其典型应用场景包括：关键词唤醒（KWS）、异常振动检测、可穿戴设备健康监测、智能传感器数据预处理等。以关键词唤醒为例，设备需要持续监听麦克风信号，在本地完成"Hey Siri"或"OK Google"的检测，只有确认唤醒词后才启动后续复杂处理。这种"永远在线"的场景对功耗极其敏感——如果唤醒功能的平均功耗超过1mW，设备续航将大幅缩短。
从技术栈角度看，TinyML处于深度学习、嵌入式系统和编译优化的三交叉点。传统嵌入式开发强调确定性、低延迟和资源精确管理，而深度学习模型本质上是概率计算和矩阵运算的组合。这种范式差异带来了独特的工程挑战：如何在保证推理精度的前提下，将模型的计算图映射到有限的硬件资源上。模型压缩正是解决这一矛盾的核心手段，而剪枝与稀疏化在其中扮演着"减法"的角色——通过移除冗余参数和计算路径，直接降低模型对存储和计算资源的需求。
1.2 模型压缩技术全景：四大主流方法对比
模型压缩技术经过多年发展，已经形成了四大主流方向：剪枝（Pruning）、量化（Quantization）、知识蒸馏（Knowledge Distillation）和低秩分解（Low-rank Factorization）。这四种技术从不同维度降低模型复杂度，且彼此之间具有正交性，可以组合使用以获得更大的压缩比。
| 压缩技术 | 核心原理 | 压缩维度 | 硬件友好度 | 典型压缩比 | 主要挑战 |
|---|---|---|---|---|---|
| 剪枝（Pruning） | 移除不重要的权重或神经元连接 | 参数数量、计算量 | 结构化剪枝较高，非结构化较低 | 2x-10x | 精度恢复、稀疏格式存储 |
| 量化（Quantization） | 降低数值精度（FP32→INT8） | 存储位宽、计算位宽 | 极高（多数MCU支持INT8） | 3x-4x | 量化误差、敏感层识别 |
| 知识蒸馏 | 小模型学习大模型的软输出 | 模型结构（间接） | 取决于学生模型结构 | 视学生模型而定 | 训练成本高、教师模型依赖 |
| 低秩分解 | 将权重矩阵分解为低秩近似 | 参数数量 | 较低（需特殊实现） | 2x-3x | 分解误差累积、实现复杂 |
在上述技术中，剪枝与稀疏化具有独特的地位。首先，剪枝直接作用于模型结构，能够同时减少存储和计算量；其次，剪枝后的稀疏模型可以与量化无缝结合——先剪枝再量化，往往能获得比单独使用任一技术更好的效果；最后，稀疏化在硬件层面有明确的加速潜力，许多MCU厂商（如Arm的Cortex-M55）已经开始支持稀疏计算加速指令。
1.3 剪枝与稀疏化的定义与分类
剪枝（Pruning）是指通过某种准则判断神经网络中哪些权重、神经元或通道对最终输出贡献较小，将其移除（置零或删除），从而获得更紧凑的模型。剪枝的核心假设是：神经网络存在大量冗余参数，移除这些参数不会显著影响模型精度。
稀疏化（Sparsity）是剪枝的结果状态，指模型中零值参数的比例。当一个模型的稀疏度达到50%，意味着有一半的权重为零。稀疏化可以从两个层面理解：非结构化稀疏（Unstructured Sparsity）指零值权重随机分布在权重矩阵中，需要特殊的稀疏存储格式（如CSR/CSC）和稀疏计算内核才能获得实际加速；结构化稀疏（Structured Sparsity）则是指按规则模式（如整行、整列、整个通道）进行剪枝，虽然压缩比可能不如非结构化，但可以直接利用硬件加速，无需特殊存储格式。
从剪枝的粒度来看，可以细分为：细粒度剪枝（单个权重）、向量剪枝（PRuning Vector）、核剪枝（Kernel-level）、通道剪枝（Channel-level）和层剪枝（Layer-level）。粒度越细，压缩潜力越大，但硬件加速难度也越高。在TinyML场景中，通道剪枝和向量剪枝往往是最佳平衡点——既能获得可观的压缩比，又能在Cortex-M系列内核上高效执行。
1.4 课程目标与学习路径
本课程的目标是培养学员在TinyML场景下独立完成模型剪枝与稀疏化工程落地的能力。具体而言，完成本课程后，学员将能够：
- 理解剪枝理论基础：掌握L1/L2正则化、泰勒展开、Hessian矩阵等剪枝重要性判据的原理与适用场景。
- 实现主流剪枝算法：能够使用PyTorch/TensorFlow实现细粒度剪枝、通道剪枝和自动化剪枝（如AutoML-driven pruning）。
- 掌握稀疏化推理优化：熟悉CSR/CSC稀疏格式、稀疏矩阵乘法优化、以及CMSIS-NN等MCU推理库中的稀疏加速特性。
- 完成端到端部署：能够将剪枝后的模型转换为TFLite Micro或TensorFlow Lite for MCU格式，并在STM32、ESP32等主流开发板上完成实测验证。
- 建立工程评估体系：学会从模型大小、推理延迟、功耗、精度四个维度综合评估剪枝效果，避免"为压缩而压缩"的误区。
课程学习路径分为四个阶段，每个阶段都有明确的交付物和验证标准：
| 阶段 | 学习内容 | 实践项目 | 交付物 |
|---|---|---|---|
| 第一阶段（第1-5章） | 基础理论与工具链搭建 | 环境配置、PyTorch基础、ONNX模型导出 | 可运行的TinyML开发环境 |
| 第二阶段（第6-15章） | 剪枝算法原理与实现 | 实现细粒度剪枝、通道剪枝、重训练恢复 | 剪枝后的稀疏模型（精度损失<2%） |
| 第三阶段（第16-24章） | 稀疏化推理与硬件加速 | 稀疏格式转换、CMSIS-NN集成、延迟测试 | 在MCU上运行的稀疏推理demo |
| 第四阶段（第25-30章） | 综合实战与调优 | 完整项目：关键词唤醒/异常检测端到端部署 | 可演示的TinyML产品原型 |
1.5 常见误区与学习建议
在多年的TinyML教学和项目实践中，我们发现初学者在剪枝与稀疏化方面存在几个典型误区，需要在一开始就予以纠正：
误区二：盲目追求高稀疏度。稀疏度从80%提升到90%可能只需要微调，但从90%到95%可能需要数倍的训练时间，且精度可能急剧下降。在实际项目中，建议先设定一个保守的稀疏度目标（如50%-70%），验证推理加速效果后再逐步提升。
误区三：忽略激活值的内存占用。剪枝通常只关注权重参数的减少，但在MCU上，激活值（中间特征图）的内存占用往往比权重更致命。例如，一个输入为32x32x16的特征图，在INT8精度下就需要16KB RAM。因此，在剪枝设计时，需要同时考虑网络宽度（通道数）对激活值内存的影响。
误区四：在PC上测速代替MCU实测。PC上的稀疏加速依赖CPU的SIMD指令和缓存优化，而MCU的加速逻辑完全不同。一个在PC上加速2倍的稀疏模型，在Cortex-M4上可能完全没有加速效果。务必在目标硬件上做延迟验证。