📚 课程目录第4章性能分析工具链

4. 性能分析工具链

模型剪枝，说白了就是给神经网络「减肥」。我刚开始接触语音模型时，一个ASR模型动不动就几百兆，部署到手机端根本跑不动。后来发现，模型里其实有大量冗余参数，剪掉它们对精度影响很小。

这一章我们聊聊剪枝的几种主流玩法。你想想看，一个训练好的模型，很多权重值接近零，这些参数对最终输出贡献微乎其微。剪枝就是把这些「摸鱼」的参数干掉。

非结构化剪枝 vs 结构化剪枝

这两种剪枝方式，核心区别在于「剪的粒度」。

对比维度	非结构化剪枝	结构化剪枝
剪枝粒度	单个权重	通道、卷积核、层
稀疏模式	不规则稀疏	规则稀疏
硬件加速	需要专用硬件/库	通用硬件直接加速
压缩率上限	高（可达90%+）	中等（通常50%-70%）
精度恢复难度	较容易	较困难

非结构化剪枝：把绝对值低于阈值的权重直接置零。我在项目中遇到过，用这种方式剪掉80%的参数，模型精度只掉了不到1%。但问题来了——权重矩阵变成稀疏的，普通矩阵乘法库没法加速。你得用稀疏矩阵存储，或者依赖NVIDIA的cuSPARSE这类库。

# 非结构化剪枝示例
import torch
import torch.nn.utils.prune as prune

model = YourASRModel()
# 对卷积层做L1非结构化剪枝，剪掉30%的权重
prune.l1_unstructured(
    model.conv1, 
    name='weight', 
    amount=0.3
)
# 剪枝后权重变成masked tensor
print(model.conv1.weight_mask)  # 0/1 mask

结构化剪枝：直接干掉整个通道或卷积核。这样做的好处是——剪完后的模型结构没变，通道数变少了而已。你直接用普通推理框架就能加速，不需要任何特殊支持。

我的经验：非结构化剪枝适合「模型存储体积」敏感的场景，比如把模型塞进Flash。结构化剪枝适合「推理延迟」敏感的场景，比如实时语音交互。我个人习惯先做结构化剪枝砍掉大头，再用非结构化剪枝微调。

权重剪枝与通道剪枝

这两个概念经常被混淆。我简单梳理一下：

权重剪枝：对单个权重参数做剪枝。属于非结构化剪枝的范畴。
通道剪枝：对卷积层的整个输出通道做剪枝。属于结构化剪枝的范畴。

通道剪枝怎么做？核心思路是评估每个通道的重要性。常用的评估指标有：

L1/L2范数：通道权重的绝对值之和/平方和。范数小的通道贡献小。
BN层缩放因子：BatchNorm层的γ参数。γ接近0的通道可以直接砍掉。
激活值统计：通道输出激活值的均值、方差。零激活多的通道冗余。

避坑指南：我曾经直接用L1范数剪通道，结果模型直接崩了。后来发现，有些通道虽然范数小，但它在特定频段上有重要作用。建议结合梯度信息或特征图相关性来做重要性评估，别只看绝对值。

# 基于BN层γ参数的通道剪枝
def prune_channels_by_gamma(model, prune_ratio=0.3):
    # 收集所有BN层的γ参数
    gamma_list = []
    for module in model.modules():
        if isinstance(module, torch.nn.BatchNorm2d):
            gamma_list.append(module.weight.data.abs())
    
    # 计算全局阈值
    all_gamma = torch.cat([g.view(-1) for g in gamma_list])
    threshold = torch.quantile(all_gamma, prune_ratio)
    
    # 生成剪枝mask
    masks = []
    for gamma in gamma_list:
        mask = gamma > threshold
        masks.append(mask)
    return masks

剪枝策略：一次性剪枝 vs 渐进式剪枝

剪枝不是一锤子买卖。我试过两种策略：

一次性剪枝：训练完模型，直接剪掉指定比例的参数，然后微调恢复精度。优点是快，缺点是剪多了模型可能直接废掉。

渐进式剪枝：边训练边剪枝，每次剪一点点，让模型慢慢适应。我比较推荐这种方式，尤其是对语音模型这种对时序依赖敏感的任务。

注意：渐进式剪枝不是简单的「剪一点→训练→再剪一点」。每次剪枝后要重新评估各通道的重要性，因为剪掉某些通道后，其他通道的重要性会发生变化。这叫「剪枝的连锁反应」。

剪枝后的微调策略

剪枝完不微调？那模型基本废了。微调不是简单地把学习率调小再训一遍。我总结了几种有效策略：

策略一：全局微调

把剪枝后的模型当成新模型，用原始训练数据重新训几个epoch。学习率设为原始训练的1/10。这是最稳妥的方式，我大部分项目都用这个。

策略二：逐层微调

先固定前面几层，只微调后面几层。等后面几层稳定了，再逐步放开前面的层。为什么这么做？因为剪枝对浅层特征提取的影响更大，浅层一旦乱了，后面全乱套。

我的习惯：对于语音模型，我会先微调全连接层和分类头，再微调深层卷积，最后微调浅层特征提取层。这个顺序在多个语音唤醒和语音识别项目上都验证过，收敛速度比全局微调快30%左右。

策略三：知识蒸馏辅助微调

把原始未剪枝的模型当教师，剪枝后的模型当学生。用KL散度约束学生模型的输出分布接近教师模型。这个方法对高压缩率场景特别有效。

# 知识蒸馏辅助微调
def distillation_loss(student_logits, teacher_logits, labels, alpha=0.7, T=4):
    # 硬损失：交叉熵
    ce_loss = F.cross_entropy(student_logits, labels)
    
    # 软损失：KL散度（温度缩放）
    soft_student = F.log_softmax(student_logits / T, dim=1)
    soft_teacher = F.softmax(teacher_logits / T, dim=1)
    kl_loss = F.kl_div(soft_student, soft_teacher, reduction='batchmean')
    
    # 加权组合
    total_loss = alpha * ce_loss + (1 - alpha) * T * T * kl_loss
    return total_loss

实际项目中的剪枝流程

我整理了一个通用的剪枝流程，你在自己的语音模型上可以直接套用：

基线评估：记录原始模型的精度、参数量、推理延迟。
通道剪枝：基于BN层γ参数或L1范数，剪掉30%-50%的通道。
渐进式微调：用知识蒸馏辅助微调5-10个epoch。
非结构化剪枝：对剩余权重做L1非结构化剪枝，再剪掉20%-30%。
最终微调：全局微调3-5个epoch，恢复精度。
验证：对比基线，确保精度损失在可接受范围内（通常<1%）。

重要提醒：剪枝不是越狠越好。我见过有人把模型剪到原来的10%，精度掉了5个点，然后花了两周时间调微调策略都救不回来。建议从30%剪枝率开始，逐步增加，每次增加10%，观察精度变化曲线。找到「精度拐点」——再剪下去精度就会断崖式下跌的那个点。

嗯，剪枝这块内容不少。核心就三件事：选对剪枝方式（结构化还是非结构化）、定好剪枝策略（一次性还是渐进式）、做好微调恢复。语音模型对时序依赖强，剪枝时尤其要注意不要破坏帧级别的特征连续性。我建议你在自己的模型上先跑个小实验，剪10%看看效果，再决定要不要继续。