3. 算法模型优化：模型剪枝、量化、蒸馏、轻量化网络结构选择

模型优化这块，说白了就是给模型「减肥」。我见过太多团队，算法精度刷到 99%，结果一上设备，帧率只有 2 FPS。人脸识别这种实时场景，模型跑不动，精度再高也没用。

这一章，我们聊聊四个主流手段：剪枝、量化、蒸馏、轻量化结构。每个我都踩过坑，咱们一个一个说。

3.1 模型剪枝：去掉冗余参数

剪枝的核心思路很简单——神经网络里很多参数其实没啥用。尤其是深度卷积网络，大量通道的权重接近零，去掉它们对精度影响微乎其微。

3.1.1 剪枝的两种方式

类型 粒度 压缩比 典型场景
非结构化剪枝 单个权重 高（5-10x） 学术研究、稀疏矩阵库
结构化剪枝 通道/卷积核 中（2-4x） 移动端、嵌入式部署

我个人习惯用结构化剪枝。为什么？非结构化剪枝虽然压缩率高，但生成的是稀疏矩阵，普通硬件加速不了。你想想看，剪掉 90% 的参数，推理速度没变，那不等于白干？

我的经验：结构化剪枝优先剪通道。按 L1 范数排序，去掉范数最小的 30% 通道，再微调 2-3 个 epoch。我在安防项目里这么干过，模型体积从 50MB 降到 18MB，精度只掉了 0.3%。

3.1.2 剪枝流程

  1. 预训练：先训一个精度达标的 baseline 模型。
  2. 评估重要性：计算每个通道/权重的贡献度（L1 范数、BN 的 gamma 值等）。
  3. 剪枝：按比例移除不重要的部分。
  4. 微调：用少量 epoch 恢复精度。
  5. 迭代：重复 2-4 步，直到压缩比和精度平衡。
避坑指南：我曾经一次性剪掉 70% 的通道，结果精度直接崩到 60%。后来学乖了——每次剪 10-15%，微调后再剪下一轮。别贪心，剪枝是「慢工出细活」。

3.2 模型量化：用更少的比特表示参数

量化，就是把 FP32 的权重和激活值，映射到 INT8 甚至 INT4。你想想看，一个参数从 32 位变成 8 位，内存带宽直接省 4 倍，推理速度自然就上去了。

3.2.1 量化方式对比

量化类型 精度损失 推理加速 硬件要求
训练后量化（PTQ） 低（0.5-1%） 2-3x 低，通用
量化感知训练（QAT） 极低（<0.3%） 2-4x 需训练框架支持
混合精度量化 可调 1.5-2x 需逐层配置

我建议：如果设备支持 INT8 加速（比如 NVIDIA Jetson、高通 DSP），直接上 PTQ。我在一个门禁项目里，把 MobileFaceNet 从 FP32 量化到 INT8，推理时间从 35ms 降到 12ms，精度只掉了 0.2%。

关键点：量化最怕「离群值」。如果权重分布太散，量化后的精度会崩。解决办法是——先做权重裁剪，把范围限制在 [-6, 6] 之间，再做量化。我试过，效果立竿见影。

3.3 知识蒸馏：大模型教小模型

蒸馏的思路很巧妙——用一个高精度的大模型（教师）去指导一个小模型（学生）学习。学生模型虽然结构简单，但能学到教师模型的「暗知识」。

3.3.1 蒸馏的两种模式

  • Logit 蒸馏：让学生模型的输出分布去拟合教师模型的 softmax 输出。温度系数 T 是关键，T 越高，软标签携带的信息越丰富。
  • 特征蒸馏：让学生模型的中间层特征去匹配教师模型的对应层。适合人脸识别这种需要强特征表达的任务。

我记得有一次，团队想用 MobileNet 替换 ResNet-50，但精度差了 2 个点。后来用特征蒸馏，把 ResNet-50 的中间层特征「教」给 MobileNet，精度差距缩小到 0.5% 以内。嗯，这里要注意——特征蒸馏的损失权重不能太大，否则学生会「死记硬背」，反而学不到泛化能力。

3.4 轻量化网络结构选择

如果剪枝、量化、蒸馏都做了，模型还是跑不动，那就得从根上换结构。轻量化网络，说白了就是「设计时就考虑效率」。

3.4.1 主流轻量化结构对比

网络 参数量 计算量 人脸识别精度（LFW） 适用场景
MobileNetV2 3.5M 300M FLOPs 99.2% 通用移动端
ShuffleNetV2 2.3M 150M FLOPs 98.8% 超低算力设备
MobileFaceNet 1.0M 100M FLOPs 99.0% 人脸识别专用
GhostNet 2.6M 220M FLOPs 99.1% 平衡精度与速度

我个人最常用 MobileFaceNet。为什么？它是专门为人脸识别设计的，用了 Global Depthwise Convolution 替代全连接层，参数量只有 1M，但 LFW 精度能到 99%。我在一个考勤机上部署过，跑 112x112 的输入，单次推理只要 8ms。

选型建议：别盲目追求最小模型。如果设备算力够，用 MobileNetV2 或 GhostNet，精度更高。如果算力极其有限（比如 MCU 级别），再考虑 ShuffleNetV2 或 MobileFaceNet。

3.5 四种优化手段的协同策略

实际项目中，这四种手段不是互斥的，而是组合使用的。我一般按这个顺序来：

  1. 先选轻量化结构：从根上控制计算量。
  2. 再剪枝：去掉冗余通道，进一步压缩。
  3. 然后蒸馏：用大模型提升小模型精度。
  4. 最后量化：用 INT8 加速推理。

你想想看，如果一开始就选了个大模型，剪枝和量化也救不回来。反过来，轻量化结构 + 蒸馏 + 量化，往往能达到「大模型精度，小模型速度」的效果。

我曾经踩过的坑：在一个项目中，我先做了量化，再做剪枝。结果量化后的权重分布变了，剪枝的重要性评估全错了。后来我改成「先剪枝，再量化」，问题解决。顺序很重要，别搞反。

3.6 本章知识体系

下面这张图，把四种优化手段的关系和流程画清楚了。你可以把它当作一个决策参考。

模型优化知识体系 模型优化目标 模型剪枝 模型量化 知识蒸馏 轻量化结构 结构化剪枝 非结构化剪枝 PTQ / QAT Logit / 特征蒸馏 推荐流程：轻量化结构 → 剪枝 → 蒸馏 → 量化

这张图里，四个分支从中心发散，底部给出了推荐流程。你可以在实际项目中按这个顺序走，能少走不少弯路。

← 上一章 📖 返回目录 下一章 →