4. 模型剪枝基础理论：剪枝分类、粒度与评价指标
剪枝，说白了就是给模型“瘦身”。
我刚开始接触剪枝时，总觉得这玩意儿很玄乎——把网络里的参数砍掉一部分，精度居然还能保住？后来踩过几次坑才明白，剪枝的本质是剔除冗余。深度学习模型，尤其是像 YOLOv8 这种检测网络，参数量动辄几千万甚至上亿，里面其实有大量权重对最终输出贡献极小。剪枝就是把这些“摸鱼”的参数找出来，干掉它们。
4.1 剪枝分类：从两个维度看
剪枝的分类，我个人习惯从两个维度去理解：结构化 vs 非结构化，以及全局 vs 局部。
4.1.1 结构化剪枝 vs 非结构化剪枝
这是最核心的分类方式，直接决定了剪枝后的模型能不能跑在硬件上。
| 对比项 | 非结构化剪枝 | 结构化剪枝 |
|---|---|---|
| 剪枝粒度 | 单个权重（参数） | 通道、卷积核、层 |
| 稀疏性 | 非规则稀疏（0 散落在各处） | 规则稀疏（整块为 0） |
| 硬件加速 | 困难，需要专用硬件/库 | 容易，通用硬件直接加速 |
| 精度恢复 | 通常较好 | 可能略差，需微调 |
| 部署友好度 | 低 | 高 |
非结构化剪枝，就是把那些值很小的权重直接置为 0。听起来很直接对吧？但问题来了——你剪完之后，权重矩阵里 0 的位置是随机的。GPU 做矩阵乘法时，没法跳过这些 0 去加速计算。除非你用 NVIDIA 的 cuSPARSE 这类库，或者有专门的稀疏计算芯片。否则，模型文件是变小了，但跑起来还是那么慢。
我在项目中遇到过这种情况：非结构化剪枝到 90% 稀疏度，模型体积从 50MB 缩到 5MB，但推理速度几乎没变。嗯，这就是典型的“纸面压缩”。
结构化剪枝就不一样了。它直接干掉整个通道或整个卷积核。比如，一个卷积层有 64 个输出通道，我剪掉 16 个，剩下的 48 个通道结构完整。这样一来，矩阵运算的维度直接变小了，GPU 和 CPU 都能享受到加速。说白了，这才是真正能落地的剪枝方式。
核心结论：做 YOLOv8 部署，结构化剪枝是首选。非结构化剪枝更适合学术研究或特定稀疏硬件场景。
4.1.2 全局剪枝 vs 局部剪枝
这个维度说的是剪枝的决策范围。
- 局部剪枝：每层独立设定剪枝率。比如，所有卷积层统一剪掉 30% 的通道。实现简单，但不够灵活。
- 全局剪枝：设定一个全局目标（比如整体 FLOPs 减少 50%），然后根据某种重要性指标，跨层排序，统一裁剪。冗余多的层多剪，冗余少的层少剪甚至不剪。
我个人更倾向全局剪枝。为什么？你想想看，YOLOv8 的 backbone 和 head 对冗余的容忍度完全不同。Backbone 负责提取特征，冗余相对多；head 负责检测，参数敏感得多。局部剪枝一刀切，很容易把 head 剪崩了。全局剪枝能自动分配裁剪额度，更合理。
我的经验：全局剪枝时，建议给 head 部分加一个保护系数。比如 head 层的重要性得分乘以 1.2，避免被过度裁剪。我曾经因为没加保护，把检测头的通道剪掉太多，结果 mAP 直接掉了 15 个点。
4.2 剪枝粒度：权重、通道、层
剪枝粒度，就是“你打算剪多细”。
从细到粗，可以分为三个层次：
- 权重级（Weight-level）：最细粒度，属于非结构化剪枝。每个参数独立判断去留。
- 通道级（Channel-level）：中等粒度，属于结构化剪枝。以整个通道（即特征图的一个切片）为单位裁剪。这是 YOLOv8 剪枝最常用的粒度。
- 层级（Layer-level）：最粗粒度，直接跳过或删除整个层。比如去掉某些冗余的残差块或 C2f 模块。
对于 YOLOv8 来说，通道级剪枝是甜点区域。层级剪枝太粗暴，容易破坏网络拓扑结构；权重级剪枝又无法加速。通道级剪枝刚好在“加速效果”和“精度保留”之间取得了平衡。
注意：层级剪枝在 YOLOv8 上要非常谨慎。因为 YOLOv8 使用了 C2f 结构和残差连接，删掉一个层可能会影响后续层的特征融合。除非你对网络结构非常熟悉，否则不建议轻易尝试。
4.3 剪枝评价指标：怎么判断剪得好不好？
剪完了，总得有个标准来衡量吧？我一般从三个维度来评价：
4.3.1 精度指标
这是底线。剪枝后的模型，精度不能掉太多。
- mAP@0.5:0.95：YOLOv8 的标准评价指标，必须跟踪。
- 精度损失容忍度：通常要求剪枝后 mAP 下降不超过 1%~2%。如果超过 3%，说明剪枝策略有问题。
- 微调恢复率：剪枝后经过微调，精度能恢复到原始模型的百分之多少。恢复率低于 98% 就要警惕了。
4.3.2 效率指标
这才是剪枝的最终目的。
| 指标 | 说明 | 测量方式 |
|---|---|---|
| FLOPs 减少率 | 理论计算量下降比例 | 用 thop 库或手动计算 |
| 参数量减少率 | 模型文件大小下降比例 | 直接统计 .pt 文件大小 |
| 实际推理加速比 | 在目标硬件上的真实速度提升 | 用 time 模块跑 1000 次取平均 |
| 内存占用 | 推理时的显存/内存峰值 | 用 nvidia-smi 或 memory_profiler |
这里有个坑：FLOPs 减少不等于实际加速。我记得有一次，我把一个模型的理论 FLOPs 剪掉了 60%，结果在 Jetson Orin 上只快了 20%。为什么？因为剪枝破坏了计算连续性，导致内存访问变得碎片化。所以，一定要测实际推理速度，别只看理论值。
4.3.3 结构健康度指标
这个指标是我自己加的，用来评估剪枝后的网络结构是否“健康”。
- 通道数均匀性：剪枝后各层的通道数是否过于悬殊？如果某一层只剩 4 个通道，而相邻层有 128 个通道，信息流会严重受阻。
- 残差连接匹配性：对于有 shortcut 的层，输入输出通道数必须一致。剪枝时如果没处理好，会直接报错。
- 最小通道数阈值：我一般会设置一个下限，比如每层至少保留 8 个通道。低于这个值，特征表达能力会急剧下降。
一句话总结：剪枝评价不能只看精度。精度不掉但推理没加速，等于白剪。三个维度——精度、效率、结构健康——缺一不可。
4.4 本章知识体系总览
下面这张图，把本章的核心概念串起来了。你可以把它当作剪枝决策的路线图。
这张图把本章的三个核心主题——剪枝分类、剪枝粒度、评价指标——以及它们之间的关联都画出来了。你可以把它当作剪枝决策的参考地图。每次做剪枝实验前，先对照这张图走一遍决策路径，能少踩很多坑。