基础概念：权重稀疏性、非结构化剪枝与结构化剪枝的区别、稀疏度定义
在Edge AI场景中，模型压缩是让深度学习模型在资源受限的MCU、DSP或NPU上高效运行的关键前置步骤。而剪枝（Pruning）作为最经典的模型压缩手段，其核心思想是移除神经网络中“不重要”的参数或结构。要深入理解非结构化剪枝，首先必须厘清三个基础概念：权重稀疏性、非结构化与结构化剪枝的本质差异，以及稀疏度的数学定义与工程含义。这三者共同构成了后续所有剪枝算法设计与硬件适配讨论的基石。
2.1 权重稀疏性：从稠密到稀疏的本质转变
权重稀疏性（Weight Sparsity）描述的是神经网络中权重张量中零值元素所占的比例。在标准的深度学习模型中，权重矩阵通常是稠密（Dense）的，即绝大多数元素都是非零浮点数。然而，研究表明，经过充分训练的神经网络中，许多权重对最终预测结果的贡献微乎其微。将这些接近零的权重直接置零，并不会显著影响模型精度，这一过程就是剪枝的本质。
从数学角度看，一个权重张量 \( W \in \mathbb{R}^{C_{out} \times C_{in} \times K_h \times K_w} \)（对于卷积层）或 \( W \in \mathbb{R}^{M \times N} \)（对于全连接层），其稀疏度定义为：
稀疏度(Sparsity) = (权重中零值元素个数) / (权重总元素个数) × 100%例如，一个包含100万个参数的卷积层，如果剪枝后其中80万个参数被置零，则该层的稀疏度为80%。值得注意的是，稀疏度是一个静态指标，它只反映剪枝完成后权重矩阵中零的占比，而不关心这些零值是如何分布的。这为后续区分非结构化与结构化剪枝埋下了伏笔。
2.2 非结构化剪枝与结构化剪枝：粒度决定硬件命运
剪枝的核心区别在于剪除的粒度（Granularity）。粒度决定了剪枝后权重矩阵中零值分布的形态，进而决定了硬件能否高效利用稀疏性。
| 对比维度 | 非结构化剪枝（细粒度） | 结构化剪枝（粗粒度） |
|---|---|---|
| 剪枝单位 | 单个权重（Weight） | 滤波器（Filter）、通道（Channel）、行/列（Vector） |
| 零值分布 | 随机、不规则散布在矩阵中 | 整块连续区域被移除，保持规则形状 |
| 稀疏度上限 | 极高（可达90%-95%以上） | 较低（通常50%-70%即影响精度） |
| 硬件加速难度 | 高（需专用稀疏计算单元或索引查找） | 低（可直接减少矩阵乘法维度） |
| 典型硬件支持 | NVIDIA A100（2:4稀疏）、Graphcore IPU | 通用CPU、GPU、MCU、NPU |
| 精度恢复难度 | 较容易（微调即可恢复） | 较难（结构移除导致信息丢失严重） |
非结构化剪枝追求极致的压缩率，它逐个评估权重的重要性（如基于值大小、梯度幅度或Hessian矩阵），将不重要的权重独立置零。这种方法的优点是灵活且压缩率高，但代价是权重矩阵变得“千疮百孔”，无法直接利用传统的BLAS（基础线性代数子程序）库进行稠密矩阵乘法加速。相反，结构化剪枝以滤波器或通道为整体进行移除，虽然压缩率较低，但剪枝后模型的各层维度依然规整，可以直接在标准硬件上获得实际的推理加速。
2.3 稀疏度定义：数学表达与工程陷阱
稀疏度的定义看似简单，但在实际工程中，存在几个容易混淆的变体。除了前文提到的全局稀疏度（Global Sparsity），还有层间稀疏度（Layer-wise Sparsity）和结构化稀疏度（Structured Sparsity）。
- 全局稀疏度：整个模型所有参数中零值的占比。用于衡量整体压缩潜力。
- 层间稀疏度：某一特定层（如Conv3）的零值占比。不同层对稀疏度的敏感度不同，通常浅层敏感度高，深层敏感度低。
- 结构化稀疏度：被剪除的滤波器或通道数量占总结构数量的比例。例如，一个卷积层有64个滤波器，剪掉16个，则结构化稀疏度为25%。
此外，稀疏度与实际加速比并非线性关系。在非结构化剪枝中，即使稀疏度达到80%，如果硬件不支持稀疏张量核，那么推理时间几乎不会减少。只有当稀疏度超过某个阈值（如NVIDIA的2:4结构化稀疏要求每4个连续权重中恰好有2个为零），硬件才能通过跳过零值计算实现理论上的2倍加速。
2.4 案例拆解：一个8位MCU上的非结构化剪枝实验
为了直观理解上述概念，我们以一个部署在Cortex-M7内核MCU（主频400MHz，无FPU）上的图像分类模型为例。该模型是一个3层全连接网络，输入维度128，隐藏层维度256，输出维度10，总参数量约为 128×256 + 256×256 + 256×10 = 99,328 个权重。
初始目标：将模型从Flash占用约400KB压缩至100KB以内，并保证精度下降不超过2%。
操作过程：
- 基线评估：原始模型准确率92.5%，Flash占用398KB，单次推理耗时45ms。
- 非结构化剪枝：设置全局稀疏度目标为75%。采用幅度剪枝（Magnitude Pruning），将值小于阈值0.01的权重置零。剪枝后全局稀疏度达到75.3%，但发现第一层（输入层）稀疏度仅为40%，而第三层（输出层）稀疏度高达95%。
- 存储格式转换：由于MCU不支持稀疏矩阵乘法，我们采用CSR（压缩稀疏行）格式存储权重。CSR格式需要存储非零值、列索引和行偏移。对于75%稀疏度，实际存储开销为：非零值数量（约24,800个）× 4字节（FP32）+ 列索引（24,800 × 2字节）+ 行偏移（257 × 2字节）≈ 99.2KB + 49.6KB + 0.5KB ≈ 149.3KB。虽然比原始398KB小，但并未达到100KB目标。
- 量化辅助：进一步将非零权重从FP32量化为INT8，存储降至约37.2KB + 24.8KB + 0.5KB ≈ 62.5KB，满足Flash要求。
- 推理实现：在MCU上实现稀疏矩阵向量乘（SpMV）内核。由于权重分布不规则，每次计算需要先通过列索引查找输入向量元素，导致额外索引开销。实测推理耗时从45ms降至38ms，仅加速15.5%，远低于理论预期的4倍加速。
结果与复盘：该案例揭示了非结构化剪枝在通用MCU上的局限性。虽然存储压缩成功，但计算加速微乎其微。原因在于：MCU的流水线无法预测稀疏模式，导致频繁的cache miss和分支跳转。最终，团队改用结构化剪枝（直接移除16个隐藏层神经元），虽然稀疏度仅25%，但推理耗时降至28ms，加速37.8%，且无需特殊存储格式。
2.5 常见误区与总结复盘
在理解和应用上述概念时，工程师常陷入以下误区：
- 误区一：稀疏度越高越好。实际上，当稀疏度超过85%后，模型精度往往出现断崖式下跌，且微调难以恢复。需要根据层敏感性设置差异化稀疏度。
- 误区二：混淆“存储稀疏”与“计算稀疏”。存储稀疏只减少Flash/RAM占用，计算稀疏需要硬件支持跳过零值乘法。两者在工程实现上完全独立。
- 误区三：忽略稀疏度分布。均匀稀疏（每层稀疏度相近）比极端不均匀稀疏更容易被硬件利用。例如，NVIDIA的2:4稀疏模式要求每一行都严格满足50%稀疏度，而非全局平均。
- 误区四：认为结构化剪枝一定优于非结构化。在支持稀疏计算的AI加速器（如含Sparse Tensor Core的芯片）上，非结构化剪枝能获得更高的压缩率和更低的精度损失，此时结构化剪枝反而显得保守。