📚 课程目录第1章课程导入

课程导入：TinyML概述、非结构化权重剪枝的定义、课程目标与学习路径

TinyML（微型机器学习）是机器学习与嵌入式物联网系统交叉融合的前沿领域，其核心目标是在功耗受限、存储受限、算力受限的微控制器（MCU）级设备上部署和运行机器学习推理模型。与云端或边缘服务器上的大规模模型不同，TinyML模型通常需要满足内存占用小于数百KB、Flash存储小于1MB、功耗低于毫瓦级的严苛约束。以ARM Cortex-M系列内核为代表的MCU设备，其SRAM往往仅有16KB至512KB，Flash通常为128KB至2MB，且缺乏GPU加速支持。在这样的硬件平台上运行神经网络推理，模型体积和计算量必须被压缩到极致。非结构化权重剪枝（Unstructured Weight Pruning）作为一种细粒度的模型压缩技术，通过剔除神经网络中不重要的单个权重参数，使权重矩阵变得稀疏，从而在保持模型精度的前提下显著减少存储和计算开销。然而，剪枝比例的选取直接决定了压缩效果与精度损失之间的平衡——比例过低则压缩收益有限，比例过高则可能导致模型精度崩塌。本章作为整个课程的开篇，将系统阐述TinyML的基本概念、非结构化权重剪枝的定义与数学本质，并明确本课程的学习目标与路径规划。

1.1 TinyML的核心特征与工程约束

1.1.1 核心原理：为什么TinyML需要模型压缩

TinyML的典型部署目标为Cortex-M0/M3/M4/M7、RISC-V MCU以及部分低功耗DSP。以STM32F746（Cortex-M7，主频216MHz，SRAM 320KB，Flash 1MB）为例，一个经典的MobileNetV1模型参数量约为4.2M个浮点数，仅存储权重就需要约16.8MB——这远超MCU的Flash容量。即便使用INT8量化，也需要4.2MB，仍然无法直接部署。因此，模型压缩成为TinyML落地的必经之路。非结构化权重剪枝通过将权重矩阵中接近零的权重置零，使矩阵变为稀疏矩阵，从而可以利用稀疏存储格式（如CSR/CSC）大幅减少存储占用，同时配合稀疏矩阵乘法减少计算量。

从数学角度看，设原始权重矩阵为 W ∈ R^m×n，剪枝操作可表示为：

W_pruned = W ⊙ M

其中：
- M ∈ {0,1}^(m×n) 为掩码矩阵
- M_ij = 0 表示权重 W_ij 被剪除
- 稀疏度 S = 1 - (非零元素数 / 总元素数)
- 剪枝比例 P = S × 100%

剪枝比例P是本章乃至整个课程的核心变量。P值的选择直接影响三个关键指标：模型精度（P过高导致精度骤降）、存储压缩率（P越高存储越小）、推理延迟（P越高计算越快，但需硬件支持稀疏计算）。

1.1.2 判断方法：TinyML场景下剪枝的适用性评估

并非所有TinyML模型都适合非结构化剪枝。工程实践中，需要从以下维度进行判断：

评估维度	适合非结构化剪枝	不适合非结构化剪枝
模型类型	全连接层占比高、CNN卷积核较大	深度可分离卷积为主（MobileNet类）
硬件支持	支持CSR存储、稀疏乘加指令	仅支持密集矩阵运算的简单MCU
精度冗余	模型过参数化，存在明显冗余	模型已高度紧凑，无冗余空间
重训练条件	有充足数据集可进行微调恢复	无法获取原始训练数据

经验提醒：在TinyML场景中，非结构化剪枝通常与量化（INT8/INT16）联合使用。先剪枝后量化，或先量化后剪枝，效果差异显著。建议先进行非结构化剪枝，再进行量化感知训练，这样可以在稀疏化基础上进一步压缩存储。

1.1.3 案例拆解：语音唤醒词模型的剪枝可行性分析

以一款基于Cortex-M4的语音唤醒词设备为例，其模型为包含2个卷积层和2个全连接层的DS-CNN（Depthwise Separable CNN），总参数量约180K个浮点数。初始模型占用Flash约720KB（FP32），超过目标Flash容量512KB。工程团队评估了两种方案：

方案A：仅使用INT8量化，模型压缩至180KB，满足Flash要求，但精度从97.2%降至95.8%。
方案B：先进行非结构化剪枝（P=60%），再进行INT8量化，模型压缩至72KB，精度为96.1%。

方案B在存储上更具优势，且精度损失更小。但方案B需要额外的稀疏矩阵存储和计算支持。该MCU的CMSIS-NN库支持稀疏矩阵运算，因此方案B被采纳。实际部署中，剪枝后的模型通过CSR格式存储，推理时仅计算非零权重，推理延迟从45ms降至28ms。

1.1.4 常见误区与总结复盘

风险提示：一个常见误区是认为剪枝比例越高越好。实际上，当P超过某个阈值（通常为70%-90%，取决于模型冗余度）时，精度会呈断崖式下降。此外，非结构化剪枝产生的稀疏矩阵若硬件不支持稀疏加速，反而可能因索引开销导致推理变慢。

本节复盘要点：TinyML的硬件约束决定了模型压缩的必要性；非结构化剪枝通过细粒度置零实现存储和计算优化；剪枝比例的选取需要综合评估模型类型、硬件能力、精度冗余和重训练条件。

1.2 非结构化权重剪枝的定义与数学本质

1.2.1 核心原理：从结构化到非结构化的谱系

权重剪枝可分为结构化剪枝（Structured Pruning）和非结构化剪枝（Unstructured Pruning）。结构化剪枝以滤波器（Filter）、通道（Channel）或行/列为基本单位进行剪除，保持权重矩阵的规则形状，便于硬件加速，但灵活性较差。非结构化剪枝则以单个权重为基本单位，不改变矩阵维度，仅将部分权重置零，灵活性最高，但产生的稀疏矩阵需要特殊存储格式。

非结构化剪枝的数学本质是稀疏化约束下的优化问题：

min_W L(W; D)  subject to  ||W||_0 ≤ k

其中：
- L为损失函数
- D为训练数据集
- ||W||_0 为L0范数（非零元素个数）
- k为允许的非零权重数量上限

由于L0范数非凸且不可导，实际中通常采用近似方法：先训练完整模型，再根据权重绝对值大小或梯度信息进行剪枝，最后通过重训练恢复精度。常见的剪枝准则包括：

幅度剪枝（Magnitude Pruning）：将绝对值小于阈值τ的权重置零。简单高效，是TinyML中最常用的方法。
梯度幅值剪枝：结合权重值和梯度信息，保留对损失影响大的权重。
Hessian矩阵剪枝：基于二阶信息，计算量较大，不适合TinyML场景。

1.2.2 判断方法：剪枝比例与稀疏度的量化关系

剪枝比例P与存储压缩率C之间的关系并非线性。假设原始权重为FP32格式，剪枝后使用CSR格式存储：

剪枝比例P	非零权重数	CSR存储开销（索引+数据）	实际压缩率
0%	N	4N字节（密集存储）	1.0×
50%	0.5N	0.5N×4 + 0.5N×2 = 3N字节	1.33×
75%	0.25N	0.25N×4 + 0.25N×2 = 1.5N字节	2.67×
90%	0.1N	0.1N×4 + 0.1N×2 = 0.6N字节	6.67×

从表中可见，当P从50%提升到90%时，压缩率从1.33×提升到6.67×，但精度风险也随之增大。因此，比例选择本质上是在压缩收益与精度风险之间寻找最优平衡点。

1.2.3 案例拆解：不同剪枝比例下的精度-压缩率权衡

以CIFAR-10图像分类任务上的VGG-16模型为例（参数量约15M），在TinyML模拟环境中进行非结构化剪枝实验。实验设置：使用幅度剪枝，剪枝后重训练10个epoch，学习率0.001。

实验结果：
P=0%   → 精度 93.2%，模型大小 60.0MB
P=50%  → 精度 92.8%，模型大小 40.0MB（CSR）
P=75%  → 精度 92.1%，模型大小 22.5MB
P=90%  → 精度 88.7%，模型大小 9.0MB
P=95%  → 精度 79.3%，模型大小 4.5MB

从数据可以看出，P从75%提升到90%时，精度仅下降3.4个百分点，但模型大小减少了60%；而P从90%提升到95%时，精度骤降9.4个百分点。这表明该模型存在一个精度悬崖，大约在P=90%附近。工程实践中，应通过逐步增加P值并观察精度变化，找到悬崖点，并选择略低于悬崖点的安全比例。

1.2.4 常见误区与总结复盘

风险提示：不要对所有层使用统一的剪枝比例。不同层对剪枝的敏感度差异巨大——浅层卷积提取基础特征，剪枝后精度损失大；全连接层冗余度高，可承受更高剪枝比例。全局统一比例会导致浅层被过度剪枝而深层剪枝不足。

本节复盘要点：非结构化剪枝的数学本质是L0约束优化；幅度剪枝是TinyML中最实用的方法；剪枝比例与压缩率呈非线性关系，需关注精度悬崖；分层差异化剪枝优于全局统一剪枝。

1.3 课程目标与学习路径

1.3.1 核心原理：本课程的能力培养框架

本课程旨在培养学员在TinyML场景下科学选择非结构化权重剪枝比例的系统能力。课程覆盖从理论到实践的完整链路，具体目标包括：

理论层：理解非结构化剪枝的数学原理、稀疏矩阵存储格式、精度-稀疏度权衡机制。
方法层：掌握全局剪枝、分层剪枝、敏感性分析、自动搜索等比例选择方法。
工程层：能够在TensorFlow Lite for Microcontrollers、CMSIS-NN等TinyML框架中实现剪枝与部署。
评估层：建立完整的精度、延迟、功耗、存储多维度评估体系。

1.3.2 判断方法：学习路径的阶段划分

课程共30章，分为五个阶段，每个阶段解决一类核心问题：

阶段	章节范围	核心主题	关键产出
基础入门	第1-5章	TinyML基础、剪枝原理、稀疏存储	理解剪枝的数学本质与硬件约束
方法进阶	第6-12章	全局/局部剪枝、敏感性分析、重训练策略	掌握多种比例选择方法
工程实践	第13-20章	TFLM部署、CMSIS-NN优化、自定义算子	完成剪枝模型在MCU上的部署
高级专题	第21-26章	自动化搜索、联合量化、硬件协同设计	实现自动化比例选择流水线
综合实战	第27-30章	端到端项目、性能调优、案例复盘	独立完成TinyML剪枝项目

1.3.3 案例拆解：一个典型的课程实战项目

以第27-30章的综合实战为例，学员将完成一个基于Cortex-M7的人体活动识别（HAR）系统。项目流程如下：

输入：IMU传感器采集的6轴加速度/陀螺仪数据，采样率50Hz，窗口大小2秒。
模型：1D-CNN + LSTM混合模型，参数量约120K。
约束：Flash ≤ 256KB，SRAM ≤ 64KB，推理延迟 ≤ 30ms，精度 ≥ 92%。
操作步骤：① 训练基线模型（精度95.1%）；② 逐层敏感性分析，确定各层可剪枝比例；③ 采用全局稀疏度搜索，找到满足约束的最大P值；④ 剪枝后重训练，恢复精度至93.8%；⑤ INT8量化，模型压缩至96KB；⑥ 部署至MCU，实测延迟22ms，功耗3.2mW。

该案例完整覆盖了本课程的所有核心技能点，学员通过亲手完成项目，能够建立从理论到落地的系统性认知。

1.3.4 常见误区与总结复盘

学习建议：本课程强调"理论-方法-实践"三位一体。建议学员在学习过程中，每章结束后动手复现关键实验，并记录不同剪枝比例下的精度变化曲线。建立自己的"剪枝比例-精度"经验数据库，这将为后续项目中的快速决策提供宝贵参考。

本节复盘要点：课程目标聚焦于培养剪枝比例选择的系统能力；学习路径分为五个递进阶段；综合实战项目将理论、方法、工程融为一体；持续积累实验数据是提升剪枝决策能力的关键。