4、权重剪枝原理：结构化剪枝与非结构化剪枝的区别、稀疏性概念、剪枝粒度

在TinyML的模型压缩技术体系中，权重剪枝是最直接、最有效的减少模型存储和计算量的手段之一。然而，剪枝并非简单地“把小的权重置零”，其核心在于选择何种剪枝粒度，以及这种粒度如何影响硬件加速、运行时效率和最终精度。本章将深入剖析结构化剪枝与非结构化剪枝的本质区别，厘清稀疏性的量化指标，并建立从权重级到通道级、再到块级的完整粒度认知框架。理解这些原理，是后续选择合适剪枝比例、避免精度崩塌的基石。

4.1 核心原理：从权重矩阵到稀疏表示

权重剪枝的本质，是在训练后的神经网络模型中，将一部分对输出影响较小的权重参数置为零。这种“置零”操作并非随机，而是基于某种重要性准则（如权重绝对值大小、梯度信息、二阶导数等）进行筛选。剪枝后的模型在数学上仍然保持原有结构，但权重矩阵中出现了大量零值，这种特性被称为稀疏性。

稀疏性的量化指标通常用稀疏率表示，即零值权重占总权重数量的比例。例如，一个包含100万个参数的模型，若剪枝后40万个参数为零，则稀疏率为40%。在实际工程中，我们更常关注有效参数密度（1 - 稀疏率），因为它直接决定了模型的实际存储需求和计算量。

然而，稀疏性本身并不直接等同于加速。真正的加速效果取决于稀疏模式是否与底层硬件（如MCU、NPU、DSP）的计算单元相匹配。这正是结构化剪枝与非结构化剪枝产生巨大差异的根源。

4.2 非结构化剪枝：细粒度但硬件不友好

非结构化剪枝（也称非规则剪枝）是最早被提出的剪枝方法。它对权重矩阵中的每一个元素独立判断是否剪除，不施加任何结构性约束。以L1范数（绝对值）作为重要性准则为例，所有绝对值低于阈值的权重都会被置零。

这种方法的优势在于精度保留能力极强。由于剪枝决策是逐权重做出的，模型可以保留那些对输出贡献最大的关键连接，即使剪枝比例高达90%，模型精度往往仍能维持在可接受范围内。然而，其代价是权重矩阵变得“千疮百孔”，零值位置完全随机分布。

从硬件执行角度看，非结构化剪枝带来了三个严重问题：

• 存储不规则：无法使用稠密矩阵的连续内存布局，必须引入索引表（如CSR、CSC格式）记录非零值的位置，额外开销可达30%-50%。
• 计算不规则：通用矩阵乘（GEMM）内核无法直接执行，需要为每个非零值单独寻址，导致流水线停顿和缓存命中率下降。
• 并行度差：不同处理单元（PE）分配到的非零权重数量不均衡，造成负载失衡，部分PE空闲等待。

在TinyML设备（如Cortex-M系列MCU）上，非结构化剪枝的加速收益通常远低于理论值。例如，一个稀疏率80%的模型，在理想情况下应获得5倍加速，但实际往往只能达到1.2-1.5倍，甚至可能因为索引开销而变慢。

4.3 结构化剪枝：粗粒度但硬件友好

结构化剪枝（也称规则剪枝）在剪枝时施加了明确的形状约束，要求被剪除的权重在空间上形成连续的区域。最常见的模式包括：

• 通道剪枝：直接删除整个输入或输出通道的所有权重。对于卷积层，这意味着移除整个滤波器（Filter）。
• 滤波器剪枝：删除卷积核中的某一整个滤波器，输出特征图的数量随之减少。
• 核剪枝：删除单个卷积核（如3×3×C）中的某些空间位置，但保留通道维度。
• 块剪枝：按固定大小的块（如4×4、8×8）进行剪枝，块内所有权重同时置零。

结构化剪枝的最大优势在于保持了权重矩阵的稠密性。剪枝后，模型仍然可以使用标准的GEMM内核进行计算，只是矩阵的维度变小了。例如，通道剪枝后，卷积层的输出通道数从64减少到32，计算量直接减半，且无需任何特殊的数据结构。

这种特性使得结构化剪枝在硬件上可以获得接近理论值的加速效果。在MCU上，一个通道剪枝50%的模型，推理速度通常能提升1.8-2.0倍，且内存占用显著降低。然而，其代价是精度损失较大，因为剪枝决策是“一刀切”的——即使某个通道内包含重要权重，只要通道整体被认为不重要，就会被全部删除。

4.4 剪枝粒度：从权重到层的完整谱系

剪枝粒度是连接稀疏性与硬件效率的桥梁。我们可以将粒度视为一个连续谱系，从最细的权重级到最粗的层级：

1. 权重级（Weight-level）：最细粒度，每个权重独立判断。灵活性最高，但硬件支持最差。
2. 向量级（Vector-level）：按行或列进行剪枝。例如，在权重矩阵中删除整行或整列，适用于全连接层。
3. 核级（Kernel-level）：在卷积核的空间维度（如3×3）上进行剪枝，保留通道维度。这种粒度在NVIDIA的Ampere架构上得到支持。
4. 通道级（Channel-level）：最常用的结构化剪枝粒度。删除整个输入或输出通道，直接改变特征图数量。
5. 滤波器级（Filter-level）：与通道剪枝等价，但视角不同——删除整个滤波器意味着输出通道减少。
6. 层级（Layer-level）：最粗粒度，直接删除整个网络层（如跳过某个残差块）。通常用于极深网络的压缩。

选择剪枝粒度时，需要综合考虑目标硬件的计算单元尺寸。例如，若MCU的SIMD（单指令多数据）单元宽度为4字节（可同时处理4个FP32），则向量级剪枝（按4个连续权重为一组）可能比权重级更高效。若NPU的卷积加速器支持2D脉动阵列，则核级或通道级剪枝更为合适。

4.5 案例拆解：CIFAR-10图像分类模型的剪枝粒度选择

我们以一个基于MobileNetV1的CIFAR-10分类模型为例，演示剪枝粒度对实际部署的影响。模型基线精度为88.5%，参数量为1.2M，在STM32F746（Cortex-M7, 216MHz）上推理耗时为185ms。

初始目标：将推理时间压缩到100ms以内，同时精度损失不超过2个百分点。

实验设置：分别采用非结构化剪枝（稀疏率70%）和通道剪枝（剪枝率50%），均使用L1范数重要性准则，剪枝后微调10个epoch。

结果对比：

分析过程：非结构化剪枝虽然精度损失极小（0.6%），但推理时间仅缩短12.4%，远未达到目标。原因在于STM32F746不支持稀疏矩阵加速，CMSIS-NN库中的GEMM内核只能处理稠密矩阵，稀疏索引的遍历开销抵消了计算量减少的收益。而通道剪枝虽然精度损失1.7%，但推理时间缩短50.3%，Flash占用减少50%，完全满足部署要求。

风险与代价：通道剪枝的精度损失在后续量化（FP32→INT8）后进一步扩大至2.8%，最终通过知识蒸馏（以未剪枝模型为教师）补偿了1.2%的精度，使最终精度达到88.1%。

复盘经验：在TinyML场景中，硬件约束应优先于理论稀疏率。一个在GPU上表现优异的非结构化剪枝模型，迁移到MCU后可能毫无加速效果。建议在项目初期就明确目标硬件的计算特性，再反向选择剪枝粒度。

4.6 常见误区与总结复盘

在剪枝原理的理解和应用中，以下误区需要特别警惕：

• 误区一：稀疏率越高越好。实际上，当稀疏率超过某个阈值（通常为80%-90%），非结构化剪枝的精度会急剧下降，且硬件加速比趋于饱和。
• 误区二：结构化剪枝一定优于非结构化。在GPU平台上，非结构化剪枝配合稀疏张量核心（如NVIDIA A100）可以获得极佳效果；但在MCU上，结构化剪枝是唯一务实的选择。
• 误区三：剪枝粒度越细，精度保留越好。粒度细确实保留了更多自由度，但微调时的梯度传播也更容易陷入局部最优，有时粗粒度剪枝配合充分微调反而能获得更好的最终精度。
• 误区四：忽略剪枝后的微调。剪枝本身只是“删除”，真正恢复精度的是后续的微调（Fine-tuning）过程。微调的学习率应比原始训练低10倍左右，且需要足够的epoch数。

总结而言，权重剪枝原理的核心在于理解稀疏性与硬件效率之间的权衡。非结构化剪枝提供了理论上的最优精度保留，但牺牲了实际部署的可行性；结构化剪枝则相反，以一定的精度损失换取显著的硬件加速。剪枝粒度的选择，本质上是在“精度保留”和“硬件友好度”之间寻找平衡点。对于TinyML工程师而言，掌握这一原理是后续制定剪枝比例策略的基础——只有明确了剪枝的“形状”，才能科学地决定“剪多少”。