3. 模型优化基础：量化、剪枝与知识蒸馏
在模型推理服务中，原始训练好的模型往往参数量大、计算精度高，直接部署会导致显存占用过高、推理延迟过长。模型优化技术通过降低精度、减少参数或压缩知识，在保持可接受精度的前提下大幅提升推理性能。本章聚焦三种核心优化方法：模型量化、模型剪枝和知识蒸馏，分析它们对推理性能的影响与权衡。
3.1 模型量化：以精度换速度
模型量化是将模型权重和激活值从高精度浮点数（FP32）映射到低精度表示（FP16、INT8、INT4）的过程。量化后的模型体积更小，计算更快，尤其适合 GPU 和专用推理芯片。
核心收益：FP16 相比 FP32 显存减半、计算吞吐翻倍；INT8 推理延迟可降低 2-4 倍，模型体积压缩 75%；INT4 进一步压缩体积，但精度损失显著增大。
3.1.1 量化精度对比
| 量化类型 | 位宽 | 模型体积压缩比 | 推理加速比（GPU） | 典型精度损失 | 适用场景 |
|---|---|---|---|---|---|
| FP32（基线） | 32 bit | 1× | 1× | — | 训练、高精度要求 |
| FP16 | 16 bit | 2× | 1.5-2× | 极小（<0.5%） | 通用推理、T4/A100 |
| INT8 | 8 bit | 4× | 2-4× | 1-3% | 高吞吐生产环境 |
| INT4 | 4 bit | 8× | 3-6× | 3-8% | 边缘设备、极致压缩 |
实践建议：优先尝试 FP16 量化（几乎无损）；若显存或延迟仍不达标，再评估 INT8 量化，并配合校准数据集做后训练量化（PTQ）以减少精度损失。INT4 量化通常需要量化感知训练（QAT）才能恢复精度。
3.1.2 量化对推理性能的影响
量化对推理性能的影响体现在三个维度：计算速度、显存占用和内存带宽。低精度计算单元（如 Tensor Core）能在一个时钟周期内完成更多运算；同时，更小的数据量减少了显存读写压力。
3.2 模型剪枝：去除冗余连接
模型剪枝通过移除对最终输出贡献较小的权重或神经元，减少模型参数量和计算量。剪枝分为非结构化剪枝（移除单个权重）和结构化剪枝（移除整个通道、层或注意力头）。
3.2.1 剪枝策略对比
| 剪枝类型 | 粒度 | 压缩效果 | 硬件加速 | 精度恢复难度 | 典型方法 |
|---|---|---|---|---|---|
| 非结构化剪枝 | 单个权重 | 高（稀疏率 50-90%） | 需稀疏计算库支持 | 中等（需微调） | Magnitude Pruning |
| 结构化剪枝 | 通道/层/头 | 中等（20-50%） | 直接加速（无需特殊库） | 较低（结构规整） | Channel Pruning, SliceGPT |
| 动态剪枝 | 逐样本 | 可变 | 高（运行时自适应） | 高（需训练） | Conditional Computation |
注意：非结构化剪枝后的稀疏矩阵在通用 GPU 上难以获得实际加速，必须配合 NVIDIA cuSPARSE 或专用稀疏推理引擎。结构化剪枝虽然压缩率较低，但能直接减少矩阵乘法维度，实际加速效果更稳定。
3.2.2 剪枝对推理性能的影响
剪枝对推理性能的影响取决于剪枝率和硬件支持。结构化剪枝直接减少 FLOPs，在 GPU 上可获得近似线性的加速；非结构化剪枝在稀疏硬件上才能发挥优势。
3.3 知识蒸馏：大模型教小模型
知识蒸馏（Knowledge Distillation）让一个大型教师模型（Teacher）指导一个小型学生模型（Student）学习。学生模型通过模仿教师模型的软标签（Soft Labels）或中间层特征，获得接近教师模型的精度，但推理成本大幅降低。
3.3.1 蒸馏方式与性能影响
| 蒸馏类型 | 知识传递方式 | 学生模型大小 | 精度保留 | 推理加速 | 训练成本 |
|---|---|---|---|---|---|
| Logit 蒸馏 | 软标签（Softmax 输出） | 教师 10-30% | 95-99% | 3-10× | 低 |
| 特征蒸馏 | 中间层特征图 | 教师 20-40% | 97-99.5% | 2-5× | 中 |
| 关系蒸馏 | 样本间关系 | 教师 30-50% | 98-99.8% | 2-3× | 高 |
最佳实践：知识蒸馏通常与量化、剪枝组合使用。例如：先对教师模型做 INT8 量化，再蒸馏出一个 FP16 的小学生模型；或者先剪枝教师模型，再用剪枝后的模型蒸馏更小的学生模型。这种组合优化往往能获得最佳的性能-精度平衡。
3.3.2 三种优化方法的权衡
在实际部署中，量化、剪枝和知识蒸馏并非互斥，而是可以组合使用。下表总结了三种方法的核心权衡：
| 优化方法 | 主要收益 | 主要代价 | 精度风险 | 部署复杂度 | 推荐组合 |
|---|---|---|---|---|---|
| FP16/INT8 量化 | 显存减半/75%，计算加速 | 精度损失 1-3% | 低（PTQ 可控） | 低（工具链成熟） | + 结构化剪枝 |
| 结构化剪枝 | FLOPs 减少 40-60% | 需微调恢复精度 | 中（需 Fine-tune） | 中（需修改模型结构） | + INT8 量化 |
| 知识蒸馏 | 模型体积缩小 70-90% | 需训练学生模型 | 低（可接近教师） | 高（需双模型训练） | + 量化 + 剪枝 |
3.4 综合权衡与选择建议
在实际项目中，选择哪种优化方法取决于三个关键因素：精度要求、硬件平台和开发周期。
- 精度优先场景（如医疗影像、金融风控）：优先使用 FP16 量化 + 知识蒸馏，精度损失控制在 1% 以内。
- 吞吐优先场景（如在线搜索、推荐系统）：采用 INT8 量化 + 结构化剪枝，可获 4-6× 加速，精度损失 2-5%。
- 边缘部署场景（如手机、IoT 设备）：使用 INT4 量化 + 知识蒸馏 + 剪枝，模型体积压缩 10-20×，但需 QAT 训练恢复精度。
- 快速迭代场景：仅使用 PTQ INT8 量化，无需训练，数小时内完成优化。
关键权衡：优化方法叠加使用时，收益并非线性叠加。例如，剪枝 50% 后再做 INT8 量化，加速比约为 5-6×，而非 2× × 2× = 4×，因为剪枝减少了计算量，量化加快了单次计算，两者协同效果更好。但精度损失也会叠加，建议每次优化后评估精度，必要时增加微调步骤。