4、神经网络剪枝基础：结构化与非结构化剪枝、权重剪枝与神经元剪枝、剪枝粒度与硬件友好性

在TinyML的模型压缩工具箱中，剪枝（Pruning）是最早被研究且应用最广泛的技术之一。与量化（Quantization）和知识蒸馏（Knowledge Distillation）不同，剪枝直接作用于模型的参数空间，通过移除冗余的权重、神经元甚至层结构，使网络变得更“瘦”。对于资源受限的微控制器（MCU）或低功耗NPU而言，剪枝不仅减少了存储占用，更重要的是降低了推理时的计算量和内存带宽压力。然而，剪枝并非简单的“删除权重”，其核心挑战在于：如何在保持模型精度的前提下，选择正确的剪枝粒度，并确保剪枝后的稀疏结构能被目标硬件高效执行。本章将系统梳理剪枝的分类体系，重点剖析结构化与非结构化剪枝的本质差异、权重剪枝与神经元剪枝的适用场景，以及剪枝粒度与硬件加速器之间的匹配关系。

上图展示了剪枝技术家族的全景关系。从顶层看，剪枝首先分为非结构化与结构化两大阵营；在结构化剪枝内部，又可根据删除对象细分为权重剪枝（细粒度）和神经元/通道剪枝（粗粒度）。底部决策流程揭示了工程实践中的核心原则：剪枝粒度的选择并非越细越好，而是必须与目标硬件的计算范式对齐。下面我们将逐一深入这些概念。

4.1 非结构化剪枝：理论最优与硬件之痛

核心原理

非结构化剪枝（Unstructured Pruning）是最原始的剪枝形式，其操作对象是神经网络中的单个权重参数。它的理论基础非常直观：在训练完成后，网络中大量权重的绝对值接近零，这些权重对最终输出的贡献微乎其微。通过设定一个阈值（例如绝对值小于0.01），将这些权重直接置零，即可获得一个稀疏权重矩阵。这种方法的理论压缩率极高，因为从信息论角度看，许多参数确实是冗余的。

然而，非结构化剪枝带来的稀疏模式是“随机散点”状的——权重矩阵中零元素和非零元素交错分布，没有规律可循。这意味着在存储时，无法简单地通过删除行或列来压缩数据，而必须采用稀疏矩阵存储格式（如CSR、CSC）或额外的索引表来记录非零元素的位置。更关键的是，在通用处理器（如ARM Cortex-M系列MCU）上执行稀疏矩阵乘法时，每次乘加运算都需要先检查索引，导致控制流分支频繁，流水线停顿严重。实测表明，在无稀疏加速支持的CPU上，50%稀疏度的模型推理速度甚至可能比稠密模型更慢。

判断方法与操作流程

实施非结构化剪枝的标准流程如下：

1. 训练基准模型：在完整数据集上训练至收敛，记录验证集精度作为基线。
2. 计算权重重要性：最常用的指标是权重绝对值（Magnitude）。也可使用二阶导数信息（如Hessian矩阵对角近似），但计算成本较高。
3. 设定全局或分层阈值：全局阈值简单但可能过度剪枝某些层；分层阈值（每层独立设定）更稳健。
4. 置零并生成掩码：创建一个与权重同形状的0/1掩码张量，1表示保留，0表示剪除。
5. 微调（Fine-tuning）：以较低学习率在训练集上继续训练若干轮，让剩余权重适应新的稀疏结构。

值得注意的是，剪枝后的模型在推理时需要专门的稀疏矩阵乘法库（如Intel MKL的稀疏BLAS）或自定义内核才能发挥性能优势。在TinyML场景中，这通常意味着需要编写针对特定MCU的汇编级稀疏卷积函数，开发成本极高。

案例拆解：MobileNetV1的极端非结构化剪枝实验

我们在一项针对STM32F746（Cortex-M7, 216MHz）的实验中，对MobileNetV1的深度可分离卷积层进行了90%非结构化剪枝。初始模型精度为70.2%（ImageNet子集），剪枝后未微调精度骤降至52.1%，经过3轮微调后恢复至68.5%。然而，在MCU上部署时，由于缺乏稀疏卷积指令，我们不得不使用查表法模拟稀疏计算。最终推理时间从原始的320ms反而增加到410ms，内存占用仅减少18%。这个案例深刻揭示了非结构化剪枝在通用硬件上的尴尬处境——理论压缩率与实际加速严重脱节。

4.2 结构化剪枝：硬件友好的工程选择

核心原理

结构化剪枝（Structured Pruning）的核心思想是保持权重矩阵的“规则性”，通过删除整个滤波器（Filter）、通道（Channel）或神经元（Neuron）来实现压缩。以卷积层为例，一个输出通道对应一个滤波器，该滤波器由K×K×C_in个权重组成。如果判定某个滤波器不重要，则直接删除该滤波器及其对应的输出特征图，同时下一层的输入通道数也相应减少。这种剪枝方式不产生稀疏矩阵，而是直接改变张量的形状，因此无需任何特殊存储格式或计算内核。

结构化剪枝的粒度从粗到细可分为：层级剪枝（删除整个层）、滤波器/通道剪枝（删除卷积层中的某个滤波器）、核内剪枝（删除滤波器内的某个K×K核）。其中，滤波器剪枝是最常用的粒度，因为它能同时减少计算量和内存带宽，且对硬件完全透明。

判断方法与操作流程

滤波器剪枝的经典流程（以L1范数准则为例）：

1. 计算滤波器重要性：对每个滤波器计算其所有权重绝对值之和（L1范数）。L1范数越小，说明该滤波器对输出的影响越弱。
2. 排序与选择：将所有滤波器按L1范数升序排列，设定剪枝比例P（如30%），删除前P%的滤波器。
3. 重建网络：删除滤波器后，需要重建网络结构。对于卷积层，输出通道数减少；对于BN层，对应通道删除；对于后续层，输入通道数调整。
4. 微调恢复：使用原始训练集进行微调，通常需要5-10个epoch。
5. 迭代剪枝：重复上述步骤，每次剪枝比例不宜过大（建议10%-20%），以“剪枝-微调”循环逐步逼近目标压缩率。

除了L1范数，还有基于BN层缩放因子（γ）的剪枝方法（如Network Slimming），通过L1正则化约束γ使其稀疏化，然后剪除γ值小的通道。这种方法在TinyML中尤为流行，因为它能自动识别不重要的通道，且与BN层天然兼容。

案例拆解：基于BN缩放因子的通道剪枝在关键词识别（KWS）中的应用

我们为一个2.4MB Flash、256KB RAM的Cortex-M4设备设计关键词识别模型（识别“Hey Device”）。初始模型为DS-CNN（深度可分离卷积），参数量380K，Flash占用1.5MB，推理时间85ms。采用Network Slimming方法：在训练时对BN层的γ施加L1正则化（λ=1e-4），训练完成后统计所有γ值分布。发现约45%的通道γ值小于0.01，于是将这些通道全部剪除。剪枝后模型参数量降至210K（压缩44.7%），Flash占用降至0.8MB，推理时间降至52ms，精度仅从94.2%降至93.1%。整个过程中，我们无需修改任何推理代码，因为剪枝后的网络是标准的稠密网络，直接编译部署即可。

4.3 权重剪枝与神经元剪枝：粒度选择的权衡艺术

核心原理

权重剪枝（Weight Pruning）即非结构化剪枝，操作对象是单个连接权重。神经元剪枝（Neuron Pruning）则针对全连接层或RNN中的隐藏单元，直接删除整个神经元节点及其所有输入输出连接。在卷积网络中，神经元剪枝通常等价于通道剪枝。两者的本质区别在于：权重剪枝保留了网络拓扑结构，只是某些连接被断开；而神经元剪枝改变了网络的拓扑宽度。

从信息保留角度看，神经元剪枝是一种更“激进”的操作。一个神经元可能编码了某种高级特征（如边缘方向组合），删除它意味着模型永久丧失对该特征的响应能力。而权重剪枝只是削弱了某个特征组合的强度，其他神经元可能仍能部分补偿。因此，在相同压缩率下，神经元剪枝的精度损失通常更大，但换来的是完全规则的计算图。

判断方法与选择依据

在实际工程中，选择权重剪枝还是神经元剪枝，主要取决于以下三个因素：

• 硬件约束：如果目标芯片支持稀疏计算（如某些NPU带有稀疏引擎），则权重剪枝可行；否则必须选择神经元/通道剪枝。
• 压缩率目标：当需要超过80%的压缩率时，单纯依赖神经元剪枝可能难以达到，此时可考虑混合策略：先进行通道剪枝（结构化），再对剩余权重进行细粒度剪枝（非结构化），最后用量化进一步压缩。
• 模型类型：对于全连接层占主导的模型（如MLP），神经元剪枝更自然；对于卷积网络，通道剪枝是主流；对于Transformer结构，注意力头的剪枝（Head Pruning）属于结构化剪枝的一种特殊形式。

案例拆解：混合剪枝策略在异常检测模型中的实践

我们为一个工业振动监测系统设计异常检测模型，硬件平台为i.MX RT1170（Cortex-M7 @ 1GHz）。模型为三层全连接网络（256-128-64），参数量约35K，输入为512维振动特征。初始模型精度99.1%，Flash占用140KB。我们采用两阶段剪枝：第一阶段，对隐藏层进行神经元剪枝，将256→160、128→96、64→48，参数量降至约22K（压缩37%），精度降至98.7%；第二阶段，对剩余权重进行30%非结构化剪枝，参数量降至15.4K（总压缩56%），精度降至98.5%。由于该MCU不支持稀疏加速，我们仅将非结构化剪枝用于减少Flash存储（通过CSR格式存储），推理时仍按稠密计算。最终Flash占用降至62KB，推理时间从0.8ms降至0.6ms（主要得益于神经元剪枝减少的矩阵维度）。

4.4 剪枝粒度与硬件友好性：从算法到芯片的映射

核心原理

剪枝的最终目的是在特定硬件上获得实际加速。不同硬件对稀疏模式的支持能力差异巨大，这决定了剪枝粒度的选择必须“以硬件为纲”。我们可以将常见硬件分为三类：

• 通用MCU/DSP：无稀疏支持，只能执行稠密矩阵运算。最佳选择是通道/滤波器剪枝，因为剪枝后矩阵维度减小，直接减少乘加次数。
• 带SIMD指令的处理器：如ARM Cortex-M7的DSP扩展或RISC-V的P扩展。这些指令集支持向量化操作，但对非规则稀疏仍不友好。建议采用2:4结构化稀疏（每4个连续权重中保留2个），这种模式可被某些SIMD指令高效处理。
• NPU/GPU张量核：现代NPU（如ARM Ethos-U55）和GPU（如NVIDIA Tensor Core）支持细粒度稀疏。例如，NVIDIA Ampere架构的2:4结构化稀疏模式，硬件直接跳过零值计算。此时，非结构化剪枝或2:4稀疏剪枝可以发挥最大效能。

判断方法与硬件适配清单

在确定剪枝方案前，建议完成以下硬件能力评估：

1. 查阅芯片手册，确认是否支持稀疏矩阵乘法指令或稀疏张量核心。
2. 检查编译器（如GCC for ARM、TFLite Micro）是否提供稀疏内核优化。
3. 评估内存子系统：非结构化剪枝需要额外的索引存储，这会增加内存带宽压力；而通道剪枝则完全避免。
4. 考虑数据布局：通道剪枝后，特征图的通道维度变化，可能需要调整内存排列（如NHWC vs NCHW）以保持对齐。

案例拆解：从MCU到NPU的剪枝策略迁移

我们曾将一个语音唤醒词模型从Cortex-M4（无稀疏支持）迁移到Ethos-U55 NPU（支持2:4稀疏）。在MCU上，我们采用了50%通道剪枝，模型精度从96.5%降至95.8%，推理时间从45ms降至28ms。迁移到NPU后，我们改用2:4结构化稀疏剪枝（即每4个权重保留2个），稀疏度50%，但精度仅降至96.1%。更关键的是，NPU的稀疏引擎使得推理时间从12ms降至7ms，加速比达到1.7倍。这个案例说明：同一模型在不同硬件上应采用不同的剪枝策略，才能最大化硬件收益。

4.5 剪枝后的模型微调与评估体系

核心原理

剪枝不是一次性操作，而是一个“剪枝-微调-评估”的迭代过程。微调（Fine-tuning）的目的是让剩余参数重新适应被删除部分所承担的功能。在微调过程中，学习率应设置为原始训练的1/10至1/100，且通常只训练少量epoch（5-15个）。对于TinyML场景，微调数据可以复用训练集，但需注意过拟合风险。

评估体系应包含三个维度：精度指标（如准确率、F1分数）、资源指标（Flash占用、RAM峰值、推理时间、功耗）、鲁棒性指标（对输入噪声的容忍度、量化敏感性）。特别地，剪枝后的模型对量化误差更敏感，因为剩余权重的动态范围可能变大。因此，建议在剪枝后立即进行量化感知训练（QAT），以联合优化剪枝和量化带来的精度损失。

操作流程与评估清单

# 伪代码：迭代剪枝流程
for prune_round in range(5):
    # 1. 计算重要性（以L1范数为例）
    importance = compute_l1_norm(model)
    # 2. 确定剪枝阈值（按比例）
    threshold = percentile(importance, prune_ratio*100)
    # 3. 生成掩码并应用
    mask = importance > threshold
    apply_mask(model, mask)
    # 4. 微调
    model.train()
    for epoch in range(10):
        train_one_epoch(model, lr=1e-4)
    # 5. 评估
    acc = evaluate(model)
    flash_size = measure_flash(model)
    latency = measure_latency(model)
    log(prune_round, acc, flash_size, latency)
    # 6. 如果精度下降超过2%，回滚并降低剪枝比例
    if acc < baseline_acc - 2.0:
        rollback(model)
        prune_ratio *= 0.5

案例拆解：剪枝后量化敏感性分析

在一个图像分类任务（CIFAR-10，ResNet-8）中，我们对模型进行40%通道剪枝后，精度从91.2%降至90.4%。随后进行INT8量化，未剪枝模型的量化精度为90.5%（损失0.7%），而剪枝后模型的量化精度仅为88.9%（损失1.5%）。进一步分析发现，剪枝后BN层的γ值分布变得不均匀，部分通道的γ值较大，导致量化时动态范围扩大。解决方案是在微调阶段对γ值施加范围约束（如限制在[0.1, 1.0]），最终量化精度恢复至89.8%。这个案例提醒我们：剪枝与量化必须联合设计，不能孤立优化。