课程导入：TinyML背景、剪枝的意义、MACs与参数量的基本概念
TinyML（微型机器学习）是边缘计算与深度学习交叉领域中最具工程落地价值的方向之一。它要求在毫瓦级甚至微瓦级功耗预算下，在MCU（微控制器）、DSP或极低功耗NPU上运行推理模型。与云端GPU训练环境不同，TinyML设备通常只有几十KB到几百KB的Flash和RAM，CPU主频往往在几十MHz到两百MHz之间，且没有主动散热。这意味着模型不仅要在精度上达标，更要在存储占用、运行时内存、单次推理延迟和能耗上同时满足硬约束。剪枝（Pruning）作为一种结构化或非结构化的模型压缩技术，能够直接减少权重矩阵中的冗余连接，从而降低计算量（MACs）与存储量（参数量）。然而，剪枝并非简单地“把小的权重置零”，它涉及稀疏度选择、粒度设计、硬件适配、重训练策略以及实际收益评估等多个环节。理解剪枝前后MACs与参数量的变化规律，是评估剪枝方案是否真正适合目标硬件的前提。
上图展示了TinyML剪枝评估的整体框架：从原始稠密模型出发，经过剪枝策略处理后得到稀疏模型，再从计算量、存储、精度和硬件适配四个维度进行综合评估。这张图贯穿本章始终，后续所有概念和案例都将围绕这个框架展开。
1.1 TinyML背景与剪枝的工程意义
TinyML的典型部署场景包括智能传感器、可穿戴设备、工业振动监测、语音唤醒词检测、视觉识别节点等。这些设备往往由纽扣电池或能量采集供电，算力资源极其有限。以ARM Cortex-M4系列MCU为例，主频80MHz，内置FPU，但无硬件乘法器加速矩阵运算，运行一个MobileNetV1（约569M MACs）需要数秒甚至更长时间，显然无法满足实时性要求。因此，模型压缩不是可选项，而是TinyML落地的必选项。
剪枝的核心意义体现在三个层面：
- 降低计算延迟：减少MACs意味着更少的乘加操作，直接缩短推理时间。对于实时控制或语音交互场景，延迟降低是硬性指标。
- 节省存储空间：MCU的Flash通常只有256KB~1MB，一个稍大的CNN模型权重就可能超过这个容量。剪枝后模型可以装入片上Flash，避免外部存储带来的功耗和成本增加。
- 减少内存带宽压力：边缘设备的内存带宽远低于GPU，权重访问往往是性能瓶颈。剪枝后需要搬运的数据量减少，能效比显著提升。
工程经验：在TinyML项目中，剪枝通常与量化（Quantization）配合使用。先剪枝降低MACs和参数量，再量化将FP32转为INT8，两者叠加可获得10~50倍的模型压缩比。但要注意，剪枝后的稀疏结构如果与量化后的整数运算不兼容，反而会增加额外的索引开销。因此，剪枝粒度设计必须提前考虑目标硬件是否支持稀疏计算。
1.2 MACs与参数量的精确定义
在评估剪枝效果之前，必须明确两个核心指标的定义和计算边界。MACs（Multiply-Accumulate Operations）指乘加运算次数，一次MAC包含一次乘法和一次加法。在卷积层中，输出特征图每个像素的计算量为 C_in × K_h × K_w 次MAC，整个输出特征图的MACs为：
MACs_conv = C_out × H_out × W_out × C_in × K_h × K_w其中C_out为输出通道数，H_out和W_out为输出特征图空间尺寸，C_in为输入通道数，K_h和K_w为卷积核尺寸。对于全连接层，MACs = C_in × C_out。参数量（Parameters）则指模型中所有可训练权重的总数，卷积层参数量为 C_out × C_in × K_h × K_w（不含偏置），全连接层为 C_in × C_out。
需要特别注意的是，MACs与FLOPs（Floating Point Operations）并不等价。一次MAC = 2 FLOPs（一次乘法+一次加法）。在论文或硬件手册中，有时会混用这两个术语，评估时必须确认口径。此外，MACs只统计乘加运算，不包含激活函数、池化、BatchNorm等操作的开销，这些操作在TinyML中同样消耗时间和能量。
| 层类型 | MACs计算公式 | 参数量公式 | 典型占比（CNN） |
|---|---|---|---|
| 标准卷积 | C_out × H_out × W_out × C_in × K_h × K_w | C_out × C_in × K_h × K_w | 计算量约90% |
| 深度可分离卷积 | H_out × W_out × C_in × (K_h × K_w + C_out) | C_in × (K_h × K_w + C_out) | 计算量降低8~9倍 |
| 全连接层 | C_in × C_out | C_in × C_out | 参数量占比高 |
| 池化层 | 0（无MAC） | 0 | 无 |
在剪枝评估中，MACs和参数量的变化并不总是同步的。例如，对全连接层进行剪枝，参数量减少明显，但MACs的减少取决于输入维度；对卷积层进行通道剪枝，则两者都会显著下降。理解这种差异，有助于针对不同瓶颈选择合适的剪枝策略。
1.3 剪枝前后评估的核心流程
评估剪枝效果不能只看最终模型的MACs和参数量，还需要建立一套可复现的测量流程。以下是标准的五步评估法：
- 基线测量：在剪枝前，记录原始模型的MACs、参数量、Flash占用、RAM占用、单次推理延迟和精度。使用与目标硬件一致的工具链（如STM32Cube.AI、TensorFlow Lite Micro）进行测量。
- 剪枝策略选择：根据硬件特性决定剪枝粒度。细粒度剪枝（任意权重置零）稀疏度高但需要特殊硬件支持；通道剪枝（移除整个通道）对硬件友好但精度损失较大；向量剪枝（按SIMD宽度剪枝）是折中方案。
- 重训练与微调：剪枝后必须进行重训练（通常为原始训练轮次的10%~20%），恢复精度。此阶段需要监控验证集精度，防止过拟合。
- 硬件在环测量：将剪枝后的模型部署到目标MCU，实测延迟、功耗和内存占用。注意，理论MACs减少并不等于实际延迟等比例减少，因为内存访问、分支预测和索引计算可能成为新瓶颈。
- 多稀疏度对比：在50%、70%、80%、90%等不同稀疏度下重复上述步骤，绘制精度-MACs曲线和精度-参数量曲线，找到最佳工作点。
判断方法：当剪枝后MACs减少30%以上，但延迟仅降低10%时，说明模型已经受内存带宽或索引开销限制，此时应转向通道剪枝或结构化剪枝，而非继续增加稀疏度。
1.4 案例拆解：基于CIFAR-10的剪枝评估实战
为了将上述概念落地，我们设计一个完整的评估案例。假设目标硬件为STM32F746（Cortex-M7，216MHz，1MB Flash，320KB RAM），部署一个简化版VGG网络（3个卷积块+2个全连接层），输入为32×32×3的CIFAR-10图像。
初始状态：模型参数量约1.2M，MACs约56M，FP32模型大小约4.8MB，远超Flash容量。直接部署不可行，必须压缩。
剪枝策略：采用L1范数准则进行通道剪枝，对每个卷积层的通道按L1范数排序，移除贡献最小的30%通道。全连接层采用细粒度剪枝，稀疏度设为70%。
操作步骤：
1. 训练基线模型至92%验证精度
2. 对conv1~conv3层执行通道剪枝（L1范数排序）
3. 对fc1、fc2执行细粒度剪枝（阈值=0.01）
4. 重训练20个epoch，学习率降至0.001
5. 使用STM32Cube.AI生成C代码并测量结果对比：
| 指标 | 剪枝前 | 剪枝后 | 变化率 |
|---|---|---|---|
| 参数量 | 1,200,000 | 420,000 | -65% |
| MACs | 56M | 22M | -60.7% |
| Flash占用 | 4.8MB | 1.68MB | -65% |
| 推理延迟 | 无法运行 | 38ms | 可实时 |
| 验证精度 | 92% | 89.5% | -2.5% |
分析与复盘：通道剪枝使MACs和参数量同步下降，Flash占用降至1.68MB，但仍超过1MB限制。进一步将全连接层细粒度剪枝改为8-bit量化，Flash降至420KB，延迟降至21ms，精度88.7%。这个案例说明，单一剪枝往往不足以满足TinyML硬约束，需要与量化、知识蒸馏等技术组合使用。同时，精度损失2.5%在CIFAR-10任务中可接受，但在医疗或工业检测场景中可能不可接受，需要根据业务容忍度调整稀疏度。
风险提示：通道剪枝后，BatchNorm层的统计量（均值和方差）会失效，必须在重训练时重新计算。此外，剪枝后的模型对输入噪声更敏感，部署前应进行鲁棒性测试。若目标硬件不支持稀疏矩阵运算，细粒度剪枝反而会增加索引开销，导致延迟不降反升。
1.5 常见误区与总结
在TinyML剪枝评估中，初学者常犯以下错误：
- 只关注参数量而忽略MACs：参数量影响存储，MACs影响延迟和功耗。两者必须同时评估，不能偏废。
- 理论计算代替实测：理论MACs减少不等于实际延迟减少，必须进行硬件在环测量。
- 忽略索引开销：非结构化剪枝需要存储索引或位掩码，这部分开销在小模型中可能抵消剪枝收益。
- 剪枝后不重训练：直接部署剪枝模型会导致精度大幅下降，必须进行微调。