4. 剪枝理论基础

模型剪枝，说白了就是给神经网络“瘦身”。你想想看，一个训练好的大模型里，其实有很多参数是冗余的。去掉它们，模型照样能跑，而且跑得更快。我刚开始做剪枝时也犯过嘀咕——这玩意儿真的靠谱吗？后来在YOLOv3上试了一把，剪掉40%的参数，mAP只掉了0.3个点，推理速度翻了一倍。嗯，从那以后我就彻底信了。

4.1 剪枝的数学本质

剪枝的核心思想很简单：在损失函数中引入稀疏约束，让不重要的参数自动归零。数学上可以这样表达：

原始优化目标：min L(W)
剪枝优化目标：min L(W) + λ·||W||₀

这里的 ||W||₀ 是L0范数，统计非零参数的个数。但L0范数不可导，没法直接用梯度下降优化。所以实际中我们通常用L1范数来近似：

实际优化目标：min L(W) + λ·||W||₁

L1范数会让权重变得稀疏——很多参数会变成0或者接近0。这些就是我们可以剪掉的部分。

4.2 三大重要性评估指标

我在项目中试过好几种评估方法，真正好用的就下面这三种。咱们一个一个说。

4.2.1 L1/L2范数：最直观的“权重大小”指标

L1范数就是权重值之和，L2范数是权重平方和的平方根。直觉上，权重值越大，它对输出的贡献就越大。所以我们可以用权重的范数来衡量其重要性。

指标	计算公式	特点	适用场景
L1范数	||W||₁ = Σ|wᵢ|	对稀疏权重友好，容易产生0值	卷积核剪枝
L2范数	||W||₂ = √(Σwᵢ²)	对大权重更敏感，惩罚更平滑	全连接层剪枝

4.2.2 BN层gamma值：YOLO剪枝的“银弹”

Batch Normalization层里有个参数叫gamma（γ），它控制着每个通道的缩放系数。训练完成后，gamma值的大小直接反映了该通道的重要性。gamma接近0的通道，基本就是“废了”。

为什么这个指标好用？因为BN层在YOLO里无处不在，每个卷积后面都跟着BN。我们只需要看gamma值就能判断通道重要性，不需要额外计算。

# 伪代码：基于gamma值的通道剪枝
gamma_values = model.get_bn_gamma()  # 获取所有BN层的gamma值
threshold = percentile(gamma_values, 40)  # 剪掉40%的通道
for layer in model.layers:
    mask = layer.gamma > threshold
    layer.prune_channels(mask)

4.2.3 梯度敏感度：最精确但最贵的方法

梯度敏感度衡量的是：如果把某个参数置零，损失函数会变化多少。数学上可以近似为：

Sensitivity(wᵢ) ≈ |wᵢ · ∂L/∂wᵢ|

这个指标的理论基础很扎实——它直接衡量了参数对损失函数的贡献。但问题是，计算梯度需要一次完整的前向和反向传播，计算量很大。

指标	计算开销	精度	推荐使用时机
L1/L2范数	极低（一次前向）	中等	快速粗剪
BN gamma值	极低（直接读取）	较高	YOLO系列首选
梯度敏感度	高（需反向传播）	最高	精细调优阶段

4.3 三种指标的对比与选择

说实话，没有哪个指标是最好的。我在实际项目中通常这样组合使用：

• 第一步：用BN gamma值做快速粗剪，剪掉30%-50%的通道。这一步几乎不损失精度。
• 第二步：用L1范数对剩余通道做二次筛选，再剪10%-20%。
• 第三步：如果精度下降明显，用梯度敏感度找出“误伤”的通道，把它们加回来。

4.4 本章知识结构图

下面这张图总结了剪枝的数学原理和三种评估指标的关系：

4.5 实战建议

最后给几个实在的建议：

• 别追求一次性剪太多。我见过有人想一步到位剪掉70%，结果模型直接崩了。分步剪，每步剪10%-20%，中间做一次微调，效果会好很多。
• 不同层的重要性不一样。浅层（靠近输入）的通道通常更重要，剪的时候手下留情。深层可以多剪一些。
• 剪枝后一定要微调。哪怕只剪了10%，也建议做几个epoch的微调。让剩下的参数重新适应一下，精度能回来不少。