4、剪枝基础：剪枝的定义、分类（结构化/非结构化、细粒度/粗粒度）、剪枝粒度与硬件友好性

模型剪枝（Model Pruning）是Edge AI模型瘦身中最经典、应用最广泛的技术之一。其核心思想是：在深度神经网络中，并非所有参数都对最终预测结果有同等贡献。大量冗余的权重、神经元甚至整个卷积通道，在训练完成后对模型精度的贡献微乎其微。剪枝的目标就是识别并移除这些冗余部分，从而得到一个更小、更快、更省电的模型，同时尽可能保持原有精度。本章将系统梳理剪枝的定义、核心分类维度（结构化/非结构化、细粒度/粗粒度），并重点剖析剪枝粒度与硬件部署友好性之间的深层关系——这是决定剪枝方案能否在真实Edge设备上落地的关键。

4.1 剪枝的核心定义与数学表达

从数学角度看，剪枝本质上是引入一个稀疏性约束。设原始模型的权重张量为 W，剪枝操作生成一个掩码张量 M（与W同维度，元素为0或1），剪枝后的权重为 W' = W ⊙ M。训练目标变为在稀疏约束下最小化损失函数：

min L(W ⊙ M)  subject to  ||M||_0 ≤ κ

其中 ||M||_0 表示非零元素个数，κ 是目标非零参数数量。由于 L0 范数不可导，实际工程中通常采用以下三种近似策略：

• 幅度剪枝（Magnitude Pruning）：训练完成后，直接移除绝对值小于阈值的权重。这是最简单、最常用的方法，基于“小权重对输出影响小”的假设。
• 梯度感知剪枝（Gradient-aware Pruning）：不仅考虑权重幅度，还考虑其对损失函数的梯度影响。权重小但梯度大的参数可能对特定样本很重要，不应剪除。
• 基于Hessian矩阵的剪枝：使用二阶信息评估参数重要性（如OBD、OBS算法），精度高但计算量大，适合小规模模型。

4.2 剪枝分类体系：结构化与非结构化

剪枝分类的核心维度是参数移除的粒度模式。这一选择直接决定了后续的存储格式、计算方式和硬件加速潜力。

4.2.1 非结构化剪枝的工程实现

非结构化剪枝的典型流程如下：

1. 正常训练模型至收敛（或使用预训练模型）。
2. 设定全局稀疏率（如50%），计算所有权重的绝对值分位数作为阈值。
3. 生成掩码矩阵，将低于阈值的权重置零。
4. 可选：进行稀疏微调（Sparse Fine-tuning），让剩余权重适应被移除的部分。
5. 导出为稀疏格式（CSR/CSC），部署时使用稀疏算子。

# PyTorch伪代码示例
import torch
import torch.nn.utils.prune as prune

model = get_pretrained_model()
# 对指定层执行L1Unstructured剪枝，移除30%权重
prune.l1_unstructured(model.conv1, name='weight', amount=0.3)
# 查看稀疏度
sparsity = 1.0 - torch.mean(model.conv1.weight == 0).item()
print(f"Sparsity: {sparsity:.2%}")

4.2.2 结构化剪枝的典型模式

结构化剪枝更关注保持张量形状的规则性，常见模式包括：

• 通道剪枝（Channel Pruning）：移除整个输入/输出通道。对于卷积层，直接减少特征图数量，是最常用的结构化剪枝方式。
• 滤波器剪枝（Filter Pruning）：移除整个卷积核（滤波器），等价于减少输出通道数。
• 层剪枝（Layer Pruning）：直接删除冗余的层（如某些残差块），适用于极深网络。
• 块剪枝（Block Pruning）：按固定大小的块（如4x4）进行剪枝，是结构化与非结构化之间的折中。

4.3 剪枝粒度与硬件友好性深度剖析

选择剪枝粒度时，必须将目标硬件平台的计算特性纳入考量。不同硬件对稀疏模式的容忍度和加速能力差异巨大。

4.3.1 CPU平台：非结构化剪枝的机遇与挑战

现代CPU（如Intel AVX-512、ARM NEON）支持SIMD指令，但处理随机稀疏矩阵时效率低下。然而，Intel的oneDNN库和ARM的CMSIS-NN框架已加入稀疏计算原语。对于4:2稀疏模式（每4个连续元素中保留2个），CPU可获得接近2倍的加速。但更随机的稀疏模式（如95%稀疏）需要依赖专门的稀疏矩阵乘法库，且内存访问的不连续性会抵消部分计算收益。

4.3.2 GPU平台：半结构化稀疏的黄金标准

NVIDIA Ampere架构引入了2:4结构化稀疏（每4个元素保留2个），配合Sparse Tensor Core可实现2倍加速。这种模式要求剪枝时强制保持2:4的规则模式，属于半结构化剪枝。实际工程中，可以先训练稠密模型，再通过两步法实现：

1. 按幅度排序每个2:4块内的权重。
2. 保留前2个最大权重，其余置零。

这种方法在ResNet-50上可保持95%以上的精度，同时获得接近2倍的推理加速。

4.3.3 NPU/TPU平台：通道对齐的硬约束

大多数NPU（如寒武纪、地平线、高通Hexagon）的卷积计算单元按通道维度并行。若剪枝后的通道数不是对齐单位（通常为4、8、16、32）的整数倍，会导致计算单元利用率下降。例如，某NPU的MAC阵列按16通道组织，若剪枝后通道数为20，则需填充至32通道，实际计算量反而增加。因此，NPU上的通道剪枝必须考虑对齐约束：

# 对齐剪枝示例：目标通道数64，对齐单位16
target_channels = 64
aligned_channels = (target_channels + 15) // 16 * 16  # 结果为64
# 若目标为50，则对齐后为64，实际压缩率降低

4.3.4 FPGA平台：完全定制化的灵活性

FPGA可实现完全定制的数据通路，理论上可支持任意稀疏模式。但实际工程中，为了简化控制逻辑和BRAM分配，通常采用块稀疏（如8x8块）或行稀疏模式。设计时需要平衡稀疏粒度与逻辑复杂度：粒度越细，控制逻辑越复杂，但压缩率越高。

4.4 案例拆解：MobileNetV3的通道剪枝实战

下面通过一个完整的案例，展示通道剪枝在Edge设备上的落地过程。

背景与约束：某智能门锁产品需在Cortex-M7（主频400MHz，无FPU）上运行人脸检测模型。原模型为MobileNetV3-Small，参数量2.5M，FLOPs约60M，单帧推理耗时850ms，无法满足实时性要求（需<300ms）。

初始目标：将推理耗时降至300ms以内，同时保持人脸检测mAP下降不超过2%。

关键输入数据：

• 模型各层FLOPs分布：第1层Conv3x3占15%，第2-5层深度可分离卷积占45%，最后全连接层占5%。
• 硬件约束：Cortex-M7无SIMD指令，但CMSIS-NN提供优化卷积函数；SRAM仅512KB。

分析判断过程：

1. 由于无SIMD，非结构化稀疏无法获得加速，直接排除。
2. 通道剪枝可减少FLOPs和内存占用，但需保证通道数为4的倍数（CMSIS-NN的HWC布局优化）。
3. 优先剪枝FLOPs占比高的深度可分离卷积层，且浅层（前2层）对精度影响大，应保守剪枝。

实际操作步骤：

# 1. 使用BN层γ系数作为通道重要性指标
# 2. 设定全局剪枝率40%，但按层分配：浅层20%，中层40%，深层60%
# 3. 执行通道剪枝并微调
for layer in model.layers:
    if layer.type == 'depthwise_conv':
        gamma = layer.bn.weight.data
        threshold = torch.quantile(gamma, 0.4)  # 40%剪枝率
        mask = gamma > threshold
        # 应用掩码并重排通道
        layer.apply_channel_mask(mask)
        # 对齐到4的倍数
        aligned_channels = (mask.sum() + 3) // 4 * 4
# 4. 微调10个epoch，学习率1e-4

结果对比：

风险与代价：剪枝后模型对光照变化的鲁棒性略有下降，需额外增加数据增强来补偿。同时，由于通道数变化，后续的量化（INT8）需要重新校准，增加了工程时间。

复盘经验：

• BN层γ系数是通道重要性的有效代理指标，但需结合激活值统计（如平均百分比零）综合判断。
• 浅层剪枝需极度保守，因为浅层特征（边缘、纹理）对后续层影响深远。
• 剪枝与量化应联合优化：先剪枝再量化，可减少量化误差。

4.5 常见误区与总结复盘

在剪枝实践中，工程师常陷入以下误区：