剪枝基础回顾：剪枝类型、剪枝流程与精度影响
在正式进入“剪枝后微调”这一核心主题之前，我们必须先厘清剪枝（Pruning）本身的基本概念与工程脉络。剪枝并非一个单一操作，而是一套包含策略选择、结构改造、精度评估与恢复的完整方法论。理解剪枝的类型、标准流程以及它对模型精度的影响机制，是后续设计微调方案、选择超参数、判断收敛状态的必要前提。本节将系统梳理这三块基础内容，为后续章节的“微调”动作建立共同的认知框架。
2.1 剪枝类型：从权重粒度到结构粒度的光谱
剪枝的本质是在模型的参数空间或结构空间中移除“冗余”部分。根据移除的最小单元粒度，业界通常将剪枝划分为两大类：非结构化剪枝与结构化剪枝。这两类方法在压缩效果、硬件友好度、微调难度上存在显著差异，理解这一光谱是选择剪枝策略的第一步。
2.1.1 非结构化剪枝：权重级别的精细手术
非结构化剪枝（Unstructured Pruning）以单个权重（Weight）为最小操作单元。其核心思想是：在训练完成后，统计每个权重的值大小（或其它重要性指标，如梯度幅值、Hessian对角值），将低于预设阈值的权重直接置为零。由于神经网络中大量权重分布在接近零的区间，这些权重对最终输出的贡献微乎其微，移除它们不会对精度造成显著影响。
这种剪枝方式的优势在于压缩比极高——在理想情况下，可以将模型参数稀疏化到 90% 以上。然而，其代价是产生非规则的稀疏矩阵，导致硬件无法利用传统的密集矩阵乘法（GEMM）进行高效计算。CPU 和 GPU 需要特殊的稀疏计算库（如 NVIDIA 的 cuSPARSE）才能获得加速收益，而在边缘端的 MCU、FPGA 或专用 NPU 上，这种稀疏性往往无法被有效利用，甚至可能因为索引开销导致推理速度变慢。
2.1.2 结构化剪枝：面向硬件的高效裁剪
结构化剪枝（Structured Pruning）以滤波器（Filter）、通道（Channel）或整个层为最小操作单元。例如，在卷积神经网络中，剪掉一个输出通道意味着同时删除该通道对应的所有卷积核切片，以及后续 BatchNorm 层中的对应缩放因子。这种剪枝方式直接改变了网络的实际宽度或深度，使得剪枝后的模型仍然是一个“密集”网络，可以直接在标准硬件上高效运行。
结构化剪枝的典型实现路径包括：基于权重范数（如 L1/L2 范数）评估滤波器重要性、基于 BN 层缩放因子 γ 的稀疏化训练（如 Network Slimming 方法）、以及基于通道注意力机制的自动搜索。其优势是硬件友好、部署即得加速；劣势是剪枝粒度大，对精度的冲击通常比非结构化剪枝更剧烈，因此对后续微调的要求也更高。
| 对比维度 | 非结构化剪枝 | 结构化剪枝 |
|---|---|---|
| 最小操作单元 | 单个权重 | 滤波器 / 通道 / 层 |
| 压缩比潜力 | 极高（可达 90%+） | 中等（通常 30%-60%） |
| 硬件加速效果 | 依赖稀疏计算库，边缘端难利用 | 直接减少计算量，通用硬件友好 |
| 精度冲击程度 | 相对平缓 | 相对剧烈，存在阈值效应 |
| 微调恢复难度 | 较低，稀疏结构易恢复 | 较高，需重新适应特征分布 |
| 典型应用场景 | 模型压缩存储、学术研究 | 边缘端部署、推理加速 |
2.2 剪枝流程：从基准模型到可部署模型的四步走
一个标准且可复现的剪枝流程，通常包含四个关键阶段。每个阶段都有明确的输入、输出和决策点，跳过任何一步都可能导致后续微调效果不佳或部署失败。
- 基准模型训练与评估：首先需要训练一个精度达标的原始模型。这个模型是剪枝的“母本”，其精度上限决定了剪枝后模型的理论天花板。在此阶段，需要记录验证集上的准确率、损失值等基线指标，作为后续对比的参照系。
- 敏感性分析与剪枝比例确定：并非所有层对剪枝的容忍度都相同。浅层通常提取通用特征（边缘、纹理），冗余度较低；深层提取语义特征，冗余度较高。通过逐层剪枝并观察精度变化，可以绘制“层敏感度曲线”，从而确定每层的最佳剪枝比例。这一步是剪枝策略的核心，直接决定了精度损失的初始幅度。
- 执行剪枝操作：根据预设的全局或分层比例，移除不重要的权重或通道。对于结构化剪枝，此步骤会物理地改变网络结构（如减少 Conv2d 的 out_channels），并生成新的、更小的模型定义。对于非结构化剪枝，则是生成一个带有掩码（Mask）的稀疏权重矩阵。
- 精度评估与剪枝后处理：剪枝完成后，立即在验证集上评估精度。此时通常会观察到精度下降。如果下降幅度在可接受范围内（如 < 2%），则进入微调阶段；如果精度崩溃（如下降 > 10%），则需要回溯调整剪枝比例或更换剪枝策略。
2.3 剪枝对模型精度的影响：不仅仅是“损失”
剪枝对精度的影响并非单一的“下降”二字可以概括。根据剪枝比例、模型架构和任务类型的不同，精度变化呈现出三种截然不同的模式。理解这些模式，有助于我们在微调时设定合理的预期目标。
2.3.1 精度骤降：敏感层被破坏的信号
当剪枝比例超过某个临界点，或者误剪了关键层（如第一个卷积层或最后的分类层）时，模型精度会呈现断崖式下跌。例如，在 ResNet-50 上，如果对第一个 7x7 卷积层剪掉超过 30% 的通道，ImageNet 的 Top-1 准确率可能直接从 76% 跌至 50% 以下。这是因为浅层特征图的感受野较小，每个通道都承载着不可替代的底层视觉信息。此时，微调虽然能恢复部分精度，但很难回到原始水平，因为信息已经永久丢失。
2.3.2 精度缓慢下降：冗余参数被移除的正常表现
在合理的剪枝比例下（如 ResNet-50 剪掉 30% 的通道），精度通常只会下降 1-3 个百分点。这属于正常现象，表明被移除的参数确实是冗余的。此时，微调的目标是“恢复”而非“超越”。通过几个 epoch 的低学习率训练，模型通常能恢复到原始精度的 98% 以上。
2.3.3 精度不降反升：正则化效应的意外之喜
在某些情况下，适度的剪枝反而会提升模型精度。这类似于 Dropout 的正则化效果——移除一部分参数迫使剩余参数学习更鲁棒的特征表示。特别是在小数据集或过拟合严重的模型中，剪枝 10%-20% 的参数后，验证集精度可能比原始模型高出 0.5-1 个百分点。但这并不意味着剪枝越多越好，一旦超过阈值，精度会迅速回落。
2.4 案例拆解：MobileNetV2 在边缘设备上的剪枝决策
为了将上述概念串联起来，我们以一个实际的边缘 AI 场景为例：需要在树莓派 4B 上部署一个图像分类模型，识别 10 类日常物品，帧率要求不低于 15 FPS，精度要求 Top-1 不低于 88%。
初始状态：工程师选择了 MobileNetV2（宽度乘数 1.0）作为基准模型，在 ImageNet 预训练权重基础上，用自建数据集微调后，Top-1 精度达到 92.5%，但推理速度仅为 8 FPS，无法满足实时性要求。
分析过程：通过性能剖析发现，瓶颈在于最后几个 Bottleneck 层的计算量过大。进一步做敏感性分析发现，第 14-17 层（靠近分类层）的通道冗余度较高，剪掉 40% 的通道后精度仅下降 1.2%；而第 1-3 层（浅层特征提取）非常敏感，剪掉 20% 的通道就会导致精度下降 4.5%。
剪枝策略：采用结构化剪枝，对第 14-17 层设置 40% 的剪枝率，对第 4-13 层设置 25% 的剪枝率，对第 1-3 层不剪枝。全局剪枝率约为 28%。剪枝后模型参数量从 3.4M 降至 2.1M，理论计算量减少 35%。
剪枝后评估：未微调时，模型精度降至 87.3%，低于 88% 的目标线。此时进入微调阶段：使用 SGD 优化器，初始学习率设为 0.001（为原始训练的 1/10），采用余弦退火策略，batch size 为 64，在自建数据集上训练 15 个 epoch。微调后精度回升至 91.8%，推理速度提升至 16 FPS，满足部署要求。
复盘经验：本次剪枝成功的关键在于“分层差异化剪枝”。如果采用全局统一 30% 的剪枝率，浅层会被过度剪枝导致精度崩溃，深层则剪枝不足导致加速效果有限。此外，微调时使用较低的学习率至关重要——剪枝后的模型已经处于一个较好的局部最优附近，过大的学习率会导致灾难性遗忘。
2.5 常见误区与总结复盘
在剪枝基础实践中，工程师常陷入以下几个误区，这些误区会直接影响后续微调的效果。
- 误区一：盲目追求高剪枝率。为了压缩率而忽略精度底线，导致微调无法恢复。正确的做法是设定精度下限，反向推导最大可接受剪枝率。
- 误区二：忽略 BN 层的影响。在结构化剪枝中，BN 层的缩放因子 γ 是评估通道重要性的关键指标。如果直接删除通道而不调整 BN 层的统计量（均值/方差），会导致特征分布剧烈偏移，微调难以收敛。
- 误区三：剪枝后立即使用大学习率微调。剪枝后的模型参数分布已经改变，大学习率容易破坏剩余参数的结构。建议使用原始训练学习率的 1/10 到 1/100，并配合 warmup 策略。
- 误区四：将剪枝与量化完全割裂。在边缘部署中，剪枝后通常还会进行 INT8 量化。如果剪枝时未考虑量化误差，两者叠加可能导致精度雪崩。建议在剪枝评估阶段就引入量化感知训练。