4. 稀疏化训练：给Loss加上L1正则化项

好，咱们进入剪枝前的关键一步——稀疏化训练。

说白了，这一步的目的就是让模型自己学会「哪些权重不重要」。我刚开始做剪枝的时候，总想着直接一刀切，结果模型精度掉得一塌糊涂。后来才明白，你得先给模型一个「自我淘汰」的机会。

4.1 为什么要做稀疏化训练？

你想想看，一个训练好的YOLOv11模型，它的权重分布是相对均匀的。大部分权重都在一个比较小的范围内波动，没有明显的「重要」和「不重要」之分。

这时候你直接剪枝，就像闭着眼睛砍树——砍掉的可能是主干。

稀疏化训练要做的，就是通过L1正则化，让那些不重要的权重逐渐趋近于0，而重要的权重保持不变。这样一来，剪枝的时候就能精准下手。

4.2 L1正则化与L2正则化的区别

很多同学会问：为什么用L1不用L2？

我简单解释一下：

正则化类型	公式	效果	适用场景
L1正则化	λ * Σ|w|	产生稀疏解，权重趋向0	特征选择、剪枝
L2正则化	λ * Σw²	权重均匀缩小，不产生稀疏	防止过拟合

L1正则化会让权重变成真正的0，而L2只是让权重变小。对于剪枝来说，我们需要的是「0」——因为0就意味着这个连接可以被直接移除。

4.3 在YOLOv11的Loss中加入L1正则化

YOLOv11的原始Loss包含三部分：

• 分类损失：BCE Loss
• 定位损失：CIoU Loss
• 置信度损失：BCE Loss

我们要做的，就是在总Loss上加上L1正则化项。具体实现如下：

# 在train.py中找到loss计算部分
# 原始loss
loss_cls = ...  # 分类损失
loss_box = ...  # 定位损失
loss_dfl = ...  # DFL损失

# 原始总loss
loss = loss_cls + loss_box + loss_dfl

# 添加L1正则化项
l1_lambda = 1e-4  # 稀疏因子，可调节
l1_loss = 0.0

# 遍历所有卷积层的权重
for name, param in model.named_parameters():
    if 'conv' in name and 'weight' in name:
        l1_loss += torch.sum(torch.abs(param))

# 最终loss
total_loss = loss + l1_lambda * l1_loss

# 反向传播
total_loss.backward()
optimizer.step()

嗯，这里要注意几个细节：

• 只对卷积层的权重施加L1正则化，BN层的参数不要动
• 偏置项（bias）一般也不加正则化
• 稀疏因子λ需要根据模型大小和数据量调整

4.4 稀疏因子的选择策略

稀疏因子λ的选择，直接决定了稀疏化的效果。

我踩过这个坑——有一次把λ设得太大，结果模型直接崩了，所有权重都变成0，推理结果全是噪声。

一般建议这样设置：

模型规模	推荐λ范围	说明
YOLOv11n (小模型)	1e-5 ~ 5e-5	模型小，λ不宜过大
YOLOv11s (中等)	5e-5 ~ 1e-4	适中，平衡稀疏与精度
YOLOv11m/l (大模型)	1e-4 ~ 5e-4	模型容量大，可以承受更大惩罚

4.5 训练50个epoch的实践建议

50个epoch的稀疏化训练，我一般这样安排：

1. 前10个epoch：正常训练，不加入L1正则化。让模型先收敛到一个较好的状态。
2. 中间30个epoch：加入L1正则化，逐步增大λ到目标值。采用warm-up策略。
3. 最后10个epoch：保持λ不变，让模型充分适应稀疏约束。

为什么这样安排？

你想想看，如果一开始就加L1正则化，模型连基本特征都没学好，就被迫去稀疏化，结果就是学歪了。先让模型学会「怎么检测」，再让它学会「哪些权重可以扔掉」。

4.6 监控稀疏化效果

训练过程中，我习惯每5个epoch打印一次权重分布统计：

def check_sparsity(model, threshold=1e-6):
    total_weights = 0
    zero_weights = 0
    
    for name, param in model.named_parameters():
        if 'conv' in name and 'weight' in name:
            total_weights += param.numel()
            zero_weights += torch.sum(torch.abs(param) < threshold).item()
    
    sparsity = zero_weights / total_weights * 100
    return sparsity

# 训练循环中调用
sparsity = check_sparsity(model)
print(f"Epoch {epoch}: 稀疏度 = {sparsity:.2f}%")

一般来说，50个epoch后，稀疏度能达到30%~50%就算不错了。如果低于20%，说明λ太小；如果高于70%，说明λ太大，模型可能已经受损。

4.7 稀疏化训练的整体流程

我把整个流程画成了一张图，方便你理解：

4.8 训练过程中的注意事项

最后，我总结几个实战中容易踩的坑：

• 学习率调整：加入L1正则化后，建议把学习率降低到原来的0.5~0.8倍。因为正则化项会改变Loss landscape，学习率太大容易震荡。
• BN层参数：不要对BN层的γ和β施加L1正则化。这些参数控制着特征的缩放和偏移，稀疏化它们会导致训练不稳定。
• 验证集监控：每5个epoch在验证集上评估一次mAP。如果mAP下降超过5%，说明λ太大了，需要回调。
• 权重可视化：训练结束后，可以画一个权重分布直方图。如果看到明显的「双峰」分布——一堆权重在0附近，一堆权重在非0区域——说明稀疏化效果很好。