课程导入：学习目标、课程结构、模型压缩技术全景图与选型指南
欢迎来到《模型量化剪枝蒸馏全流程实践》课程。在正式开始技术细节之前，我们需要先建立全局视野。大语言模型与视觉模型的参数规模已从数亿跃升至数千亿甚至万亿级别，推理成本、显存占用与延迟成为制约落地的核心瓶颈。模型压缩并非单一技术的堆砌，而是一套系统工程——量化、剪枝、蒸馏各有其适用边界、组合策略与工程代价。本章将明确学习目标、拆解课程结构、绘制技术全景图，并给出基于业务场景的选型决策框架，帮助你建立“先诊断、后压缩、再验证”的正确心智。
上图展示了本课程的核心知识框架：模型压缩的三大技术主线（量化、剪枝、蒸馏）并非孤立存在，而是通过组合策略形成工程流水线。业务目标（降本、提速、保精度）始终是技术选型的出发点。在后续章节中，我们将逐一深入每条技术线的数学原理、实现细节与工程陷阱，并在最后整合为完整的压缩流程。
1.1 学习目标：从“会用工具”到“懂原理、能调优、可落地”
本课程面向算法工程师、推理优化工程师以及技术负责人，目标不是简单罗列开源库的API调用，而是建立一套可复用的方法论。完成学习后，你应该具备以下四项核心能力：
- 原理层：理解量化误差的来源（舍入误差、截断误差、动态范围失配），剪枝的敏感性分析（哪些层/通道对精度影响最小），蒸馏的知识迁移机制（为什么软标签比硬标签更有效）。
- 工程层：熟练使用PyTorch、TensorRT、ONNX Runtime、llama.cpp等工具链，能够编写自定义量化算子或剪枝算法，而非仅调用现成接口。
- 决策层：面对一个具体的模型和硬件目标，能够快速判断“该用哪种技术”“压缩比设多少”“是否需要组合使用”，并预估收益与风险。
- 评估层：建立完善的压缩后评估体系，包括但不限于精度指标（ACC、BLEU、Perplexity）、性能指标（延迟、吞吐、显存峰值）、稳定性测试（长序列、多batch、异常输入）。
课程实践环境建议：推荐使用NVIDIA A100/A10或RTX 4090（24GB显存以上），PyTorch 2.1+，CUDA 12.x。对于大模型（>7B）的量化实验，建议准备至少64GB内存用于加载原始模型权重。所有代码示例均提供CPU回退方案，但量化加速效果需GPU验证。
1.2 课程结构：30章递进式学习路径
课程分为五个阶段，每个阶段解决一类核心问题。下表展示了完整的章节规划与学习重点：
| 阶段 | 章节范围 | 核心主题 | 关键产出 |
|---|---|---|---|
| 基础篇 | 第1-5章 | 模型压缩全景、环境搭建、精度评估方法论、硬件加速基础 | 评估脚本、基准测试报告模板 |
| 量化篇 | 第6-12章 | PTQ、QAT、混合精度、INT8/INT4实战、量化算子自定义 | 可部署的INT8模型、量化误差分析报告 |
| 剪枝篇 | 第13-18章 | 结构化/非结构化剪枝、通道搜索、稀疏训练、硬件稀疏加速 | 剪枝后模型、稀疏度-精度曲线 |
| 蒸馏篇 | 第19-24章 | 软标签蒸馏、特征蒸馏、多教师蒸馏、在线蒸馏、LLM蒸馏 | 学生模型、蒸馏训练代码库 |
| 综合实战篇 | 第25-30章 | 三技术组合流水线、部署优化、端侧/服务端案例、持续迭代 | 完整压缩部署方案、性能对比白皮书 |
每个章节遵循统一结构：核心原理 → 操作流程 → 案例拆解 → 常见误区。建议按照顺序学习，因为后续章节会复用前面定义的评估指标和工具链。如果你已有量化基础，可以直接跳到第13章剪枝篇，但第5章的“精度评估方法论”是所有实验的前提，不建议跳过。
1.3 模型压缩技术全景图：三大技术对比与适用边界
量化、剪枝、蒸馏虽然目标一致（减少模型资源消耗），但作用机制完全不同。量化通过降低数值精度减少存储和计算量；剪枝通过移除冗余参数改变模型结构；蒸馏通过训练一个小模型模仿大模型的行为。下表从多个维度进行对比：
| 对比维度 | 量化 | 剪枝 | 蒸馏 |
|---|---|---|---|
| 核心机制 | 降低数值表示精度（FP32→INT8） | 移除权重/通道/层 | 小模型学习大模型输出分布 |
| 压缩比范围 | 2x-8x（INT8/INT4） | 2x-20x（稀疏度50%-95%） | 2x-10x（参数量减少） |
| 推理加速来源 | 硬件INT8算子加速 | 减少FLOPs和内存访问 | 模型本身更小 |
| 精度损失风险 | 低-中（需校准） | 中-高（需重训练） | 低（训练充分时） |
| 硬件依赖 | 高（需INT8/INT4支持） | 中（稀疏加速需特定硬件） | 低（任何硬件均可） |
| 训练数据需求 | 少量校准集（PTQ）或训练集（QAT） | 需训练集微调 | 需训练集+教师模型推理 |
| 典型工具 | TensorRT, PyTorch FX, ONNX | torch.nn.utils.prune, SparseML | HuggingFace Trainer, TextBrewer |
选择技术时需考虑三个关键问题：硬件支持什么？（若GPU不支持INT4加速，量化收益有限）；能否接受重训练？（剪枝和蒸馏通常需要训练，量化PTQ则不需要）；精度敏感度如何？（医疗、金融场景对精度损失容忍度极低）。
1.4 选型指南：基于场景的决策框架
面对实际业务，我们建议按以下四步进行技术选型：
- 明确约束条件：列出硬件型号、显存上限、延迟要求（P99）、吞吐目标、精度底线。例如：A10 GPU，24GB显存，要求单次推理延迟<50ms，精度损失<1%。
- 评估模型特性：模型参数量、计算量（FLOPs）、层数、注意力头数、激活值分布（是否有极端离群值）。例如：LLaMA-7B的激活值存在明显离群点，直接INT8量化会导致精度骤降，需采用混合精度或方法。
- 选择主技术+辅助技术：如果延迟是首要目标且硬件支持INT8，优先量化；如果显存不足且模型过大，优先剪枝+量化组合；如果精度要求极高，优先蒸馏（用大模型教小模型）。
- 设计实验矩阵：不要只测一组参数。建议设置压缩比梯度（如INT8、INT4、混合INT8/FP16），并记录每个配置下的精度-延迟-显存三维数据。
经验之谈：对于7B以上的大语言模型，推荐顺序是“蒸馏→剪枝→量化”。先蒸馏一个更小的学生模型（如7B→3B），再对3B模型进行结构化剪枝（移除冗余注意力头），最后做INT8量化。这个组合通常能获得4-6倍压缩比，且精度损失控制在2%以内。直接对7B模型做高比例剪枝往往得不偿失。
1.5 案例拆解：从BERT到TinyBERT的压缩选型实战
我们通过一个经典案例来演示选型逻辑。某智能客服系统使用BERT-base（110M参数）进行意图识别，部署在4台T4 GPU（16GB显存）上，高峰期QPS要求2000，当前延迟为85ms，显存占用约8GB/卡。业务方希望将延迟降至30ms以下，并支持双倍流量。
初始分析与约束：
- T4支持INT8推理（TensorRT优化），但不支持INT4。
- 精度要求：意图识别准确率从92.5%降至不低于91.5%。
- 训练数据充足（100万条标注样本），允许2周微调时间。
方案推演：
- 纯量化方案：使用TensorRT PTQ，INT8量化后延迟可降至35ms，但准确率降至90.8%，不满足要求。分析发现，LayerNorm层的激活值分布不均匀，导致量化误差放大。
- 蒸馏+量化方案：先使用DistilBERT（66M参数）作为学生模型，教师为BERT-base，进行知识蒸馏。学生模型准确率91.8%，延迟降至28ms，显存降至4.2GB。再对DistilBERT做INT8量化，准确率91.6%，延迟进一步降至18ms。
- 剪枝+量化方案：对BERT-base做30%结构化剪枝（移除部分注意力头），微调后准确率91.9%，但延迟仅降至60ms，因为T4对稀疏矩阵加速有限。此方案被否决。
最终落地：采用“蒸馏+量化”组合，部署后QPS达到4200，P99延迟22ms，显存峰值5.1GB。整个项目耗时10天（蒸馏训练5天+量化校准1天+部署测试4天）。
关键教训：不要盲目追求压缩比。在本案例中，剪枝虽然减少了参数量，但T4硬件不支持稀疏加速，实际延迟改善有限。选型必须结合硬件特性，而非只看理论FLOPs。另外，蒸馏带来的收益不仅体现在模型变小，还使后续量化更容易——学生模型的激活值分布更平滑，量化误差更小。
1.6 常见误区与总结复盘
在课程开始前，先澄清几个高频误区，避免你在后续学习中走弯路：
- 误区一：量化就是调用
model.half()或torch.quantization。实际上，简单的半精度转换不是量化，真正的量化需要处理scale和zero-point，且不同层可能需要不同精度。 - 误区二：剪枝比例越高越好。当稀疏度超过70%时，模型精度往往急剧下降，且部分硬件（如GPU）对非结构化稀疏支持极差，实际加速可能为负。
- 误区三：蒸馏只需要让教师模型输出logits。对于生成式模型（如），还需要考虑序列级蒸馏、对比学习等高级方法，否则学生模型容易产生重复或退化输出。
- 误区四：压缩后不需要重新评估。压缩模型在分布外数据上的表现可能更差，必须进行鲁棒性测试（如对抗样本、长尾类别）。