3. 模型轻量化基础：模型剪枝
模型剪枝，说白了就是给神经网络“瘦身”。你想想看，一个训练好的大模型里，很多参数其实没啥用。我刚开始接触剪枝时，也觉得这玩意儿挺玄乎——把网络里的权重砍掉一部分，精度居然不掉？后来亲手试过几次，才明白这里面门道很深。
3.1 剪枝的核心原理
神经网络里，不是所有神经元都同等重要。有些权重接近零，有些通道对最终结果几乎没贡献。剪枝就是把这些“冗余”部分去掉，换来更小的模型体积和更快的推理速度。
我在项目中遇到过这样一个场景：一个 50MB 的检测模型，剪掉 40% 的参数后，精度只掉了 0.3%，但推理速度提升了近一倍。嗯，这就是剪枝的魅力。
核心思想：找到不重要的参数 → 移除它们 → 微调恢复精度 → 重复这个过程。
剪枝通常分三步走：
- 评估重要性：给每个参数或结构打分
- 移除低分项：按比例或阈值剪掉
- 微调恢复：让剩下的参数重新适应任务
3.2 结构化剪枝 vs 非结构化剪枝
这是剪枝领域最基础的分法。我刚开始也搞混过，后来亲手调过几个模型才彻底明白。
| 对比维度 | 结构化剪枝 | 非结构化剪枝 |
|---|---|---|
| 剪枝粒度 | 通道、层、卷积核 | 单个权重 |
| 硬件加速 | 直接支持（无需特殊硬件） | 需要稀疏计算库或专用硬件 |
| 压缩率 | 中等（通常 2x-4x） | 高（可达 10x 以上） |
| 精度恢复难度 | 较低 | 较高 |
| 部署友好度 | 高（直接替换原网络） | 低（需要特殊推理引擎） |
3.2.1 非结构化剪枝
非结构化剪枝，就是把权重矩阵里那些值很小的值直接置零。听起来简单，但实际效果很“稀疏”——矩阵里到处都是零，但位置不固定。
我曾经在一个人脸识别模型上试过非结构化剪枝，剪掉 80% 的权重后精度只掉了 1%。但问题来了：部署到边缘设备上，推理速度一点没变。为什么？因为普通 CPU/GPU 没法跳过这些零值计算。除非你用专门的稀疏矩阵库，比如 NVIDIA 的 cuSPARSE，或者买了支持稀疏计算的硬件。
避坑指南：我曾经天真地以为非结构化剪枝能直接提速，结果在 ARM 设备上跑了个寂寞。如果你目标平台不支持稀疏计算，非结构化剪枝只省存储，不省时间。
3.2.2 结构化剪枝
结构化剪枝就实在多了。它直接砍掉整个通道、整个卷积核，甚至整层。剪完之后网络结构还是规整的，任何推理框架都能直接加速。
我个人的习惯是：优先用结构化剪枝。虽然压缩率不如非结构化，但胜在通用、稳定、好部署。在边缘端，结构化剪枝是主流选择。
举个例子，一个 64 通道的卷积层，通过评估发现其中 16 个通道的权重几乎全接近零。结构化剪枝就直接把这 16 个通道删掉，输出变成 48 通道。后续层也跟着调整输入通道数。整个网络还是规整的，但计算量少了 25%。
3.3 剪枝工具：NNI 与 PocketFlow
手写剪枝代码太累了。好在有现成的工具。我主要用过两个：微软的 NNI 和腾讯的 PocketFlow。
| 工具 | 特点 | 适用场景 | 上手难度 |
|---|---|---|---|
| NNI | 功能全面，支持多种剪枝算法 | 研究探索、快速实验 | 中等 |
| PocketFlow | 专注端侧部署，自动化程度高 | 生产落地、移动端/边缘端 | 较低 |
3.3.1 NNI 剪枝实战
NNI 是微软开源的自动机器学习工具。它的剪枝模块做得相当成熟。我常用它的 LevelPruner 做非结构化剪枝，用 FPGMPruner 做结构化剪枝。
下面是一个用 NNI 做结构化剪枝的示例：
import torch
from nni.compression.pytorch.pruning import FPGMPruner
# 加载预训练模型
model = torch.load('model.pth')
# 配置剪枝参数
config_list = [{
'sparsity': 0.5, # 剪掉50%的通道
'op_types': ['Conv2d']
}]
# 创建剪枝器
pruner = FPGMPruner(model, config_list)
# 执行剪枝
pruner.compress()
# 微调
for epoch in range(10):
train(model)
pruner.update_epoch(epoch)
# 导出剪枝后的模型
pruner.export_model('pruned_model.pth')
我个人习惯用 FPGM（基于几何中值的滤波器剪枝）算法。它不依赖数据，直接分析权重分布就能找到冗余通道。在 ResNet 系列上效果特别好。
3.3.2 PocketFlow 剪枝实战
PocketFlow 是腾讯针对移动端推出的模型压缩框架。它的剪枝模块叫 ChannelPruning，专门做结构化剪枝。
PocketFlow 的亮点是自动化程度高。你只需要提供模型和数据路径，它自动帮你完成剪枝、微调、评估的闭环。
# PocketFlow 命令行使用示例
python run_pipeline.py \
--model mobilenet_v2 \
--dataset imagenet \
--pruning_ratio 0.3 \
--target_acc 0.95
我在一个智能门禁项目里用过 PocketFlow。当时要把 MobileNetV2 从 3.5MB 压到 2MB 以内。PocketFlow 自动搜索了最佳剪枝比例，最后压到 1.8MB，精度只掉了 0.5%。嗯，省了我不少调参时间。
我的建议：如果你在做研究或快速验证，用 NNI 更灵活。如果你在做产品落地，尤其是边缘端部署，PocketFlow 的自动化流程能帮你省很多事。
3.4 剪枝流程总览
下面这张图展示了完整的剪枝工作流。从预训练模型开始，经过重要性评估、剪枝、微调，最终得到轻量化模型。
3.5 剪枝的常见误区
做剪枝这几年，我踩过不少坑。这里列几个最常见的：
- 剪枝比例不是越高越好：我曾经一上来就剪 70%，结果精度直接崩了。建议从 20%-30% 开始，逐步增加。
- 微调不能省：剪完不微调，精度大概率掉。我一般用原学习率的 1/10，微调 5-10 个 epoch。
- 不同层敏感度不同：浅层对剪枝更敏感，深层相对不敏感。均匀剪枝不是最优策略。
- 剪枝后要测实际推理速度：理论 FLOPs 减少不等于实际速度提升。一定要在目标设备上跑一遍。
小技巧：我习惯先做一次“敏感度分析”——逐层剪掉 10% 的参数，看精度变化。敏感度低的层多剪，敏感度高的层少剪。这样剪出来的模型质量高很多。
3.6 本章小结
模型剪枝是边缘端部署的必修课。结构化剪枝适合大多数场景，非结构化剪枝需要硬件配合。NNI 和 PocketFlow 是两个好用的工具，前者灵活，后者自动化。记住：剪枝不是一锤子买卖，需要反复尝试和微调。