课程导入：模型压缩的必要性、三大技术（剪枝、量化、蒸馏）的定位与整体学习路径
在深度学习工程化落地的过程中，我们经常会遇到一个尴尬的场景：模型在GPU服务器上跑得又快又准，但一旦部署到手机、嵌入式设备、边缘盒子或者车规级芯片上，要么内存爆炸，要么延迟超标，要么功耗过高导致设备过热降频。这并非模型本身不够优秀，而是我们忽略了从“研究环境”到“生产环境”之间的巨大鸿沟。模型压缩技术，正是为了填平这道鸿沟而存在的系统工程方法论。本章作为整个实战课程的开篇，将首先厘清“为什么要压缩”“三大技术各自解决什么问题”以及“我们应该以怎样的路径来学习与实践”，为后续30章的具体操作打下坚实的认知基础。
1.1 模型压缩的必要性：从算力约束到商业成本
深度学习模型在过去十年间经历了爆发式的规模增长。以自然语言处理领域为例，从2018年的BERT-base（1.1亿参数）到（1750亿参数），模型参数量增长了超过1500倍。计算机视觉领域同样如此，ResNet-50的2500万参数在当年已属庞大，而如今视觉Transformer（ViT-Huge）已突破6亿参数。这种规模增长带来了显著的精度收益，但同时也将模型推向了“实验室专属”的境地。当我们试图将模型部署到真实业务场景时，必须直面以下四个维度的硬性约束。
第一，存储与内存瓶颈。一个FP32精度的ResNet-50模型权重文件约为98MB，而MobileNetV3约为16MB。对于手机App而言，安装包每增加1MB，转化率可能下降0.5%-1%。更关键的是推理时的内存占用：模型权重、中间激活值、优化器状态（训练时）共同构成了内存压力。在边缘设备上，可用内存往往只有几百MB到2GB，且需要与操作系统、其他应用共享。一个250MB的模型在低端手机上可能导致系统频繁杀后台进程，用户体验急剧恶化。
第二，计算延迟与实时性要求。自动驾驶场景要求目标检测延迟低于30ms，工业质检要求单张图像处理时间低于50ms，语音助手要求首字响应低于200ms。以YOLOv4为例，在Jetson Xavier NX上FP32推理一张608×608图像约需45ms，而经过INT8量化后可降至12ms，剪枝后再降至8ms。这种数量级的差异直接决定了系统能否满足业务SLA（服务等级协议）。
第三，功耗与散热限制。移动设备电池容量有限，GPU持续高负载运行会导致设备发热、降频，进而引发推理速度进一步恶化。对于IoT设备，功耗预算可能低至100mW以下。模型压缩通过减少计算量，直接降低了单位推理的能耗。根据我们的实测数据，INT8量化相比FP32可降低约60%-75%的功耗，结构化剪枝（2倍稀疏）可再降低约30%的功耗。
第四，商业成本与规模化部署。云端推理成本与计算量成正比。假设一个日调用量1亿次的视觉API，单次推理从5ms优化到2ms，按GPU集群成本估算，每年可节省约120万美元。对于创业公司而言，模型压缩往往决定了商业模式能否跑通——单位经济模型（Unit Economics）是否为正。
minimize(模型大小, 延迟, 功耗) s.t. 精度下降 ≤ 阈值。
1.2 三大技术定位：剪枝、量化、蒸馏的差异化分工
剪枝、量化、蒸馏是当前工业界应用最广泛的三种模型压缩技术，它们从不同维度切入，解决不同层面的问题。理解三者的本质区别与互补关系，是选择正确压缩策略的前提。
| 技术维度 | 结构化剪枝 | 模型量化 | 知识蒸馏 |
|---|---|---|---|
| 核心思想 | 移除冗余结构（通道/层/头） | 降低数值精度（FP32→INT8） | 用小模型学习大模型的输出分布 |
| 主要收益 | 减少FLOPs和参数量 | 减少存储、带宽、计算延迟 | 获得紧凑模型结构，同时保留精度 |
| 硬件友好性 | 需要硬件支持稀疏计算 | 需要硬件支持INT8/INT4算子 | 不依赖特定硬件特性 |
| 精度影响 | 高稀疏率下精度下降明显 | 低比特下精度损失需校准补偿 | 教师模型质量决定上限 |
| 典型工具 | PyTorch Pruning、NVIDIA ASP | TensorRT、ONNX Runtime、TFLite | HuggingFace DistilBERT、TinyBERT |
| 适用场景 | 计算密集型的CNN/Transformer | 高吞吐量、低延迟的在线推理 | 从超大模型到中等模型的压缩 |
剪枝（Pruning）的本质是“结构瘦身”。它假设神经网络中存在大量冗余参数或通道，移除这些冗余不会显著影响模型表达能力。剪枝分为非结构化剪枝（细粒度权重置零）和结构化剪枝（整通道/整层移除）。非结构化剪枝虽然压缩率高，但产生的稀疏矩阵在通用硬件上难以获得实际加速；结构化剪枝则能直接减少FLOPs，在CPU和GPU上都能获得真实收益。剪枝的关键挑战在于：如何判断哪些结构是“冗余”的？这需要基于权重幅度、梯度敏感度、特征图重构误差等指标进行重要性评估。
量化（Quantization）的本质是“数值精度降维”。它将连续的浮点数值映射到离散的定点数值空间。最常见的做法是将FP32权重和激活值量化为INT8，极端情况下可到INT4甚至二值网络。量化带来的收益非常直接：模型体积缩小4倍，内存带宽需求降低4倍，同时利用硬件的INT8算力（通常比FP32快2-4倍）。量化的核心难点在于如何处理数值范围的截断误差和舍入误差，以及如何通过校准数据集确定最优的量化尺度（Scale）和零点（Zero Point）。
蒸馏（Distillation）的本质是“知识迁移”。它不直接修改原模型的结构或数值精度，而是训练一个全新的、更小的模型（学生模型），使其模仿大模型（教师模型）的行为。蒸馏的关键在于“软标签”——教师模型输出的概率分布包含了类别间的相似性信息（例如“猫”和“老虎”的相似度高于“猫”和“汽车”），这些暗知识比硬标签（one-hot）携带更丰富的信息。蒸馏的变体包括特征蒸馏、关系蒸馏、自蒸馏等，适用于从BERT到ViT的各种架构。
1.3 整体学习路径：从理论认知到工程落地
本课程共30章，按照“认知→单项技术→组合优化→部署验证”的逻辑递进。我们建议学习者按照以下路径推进，每一阶段都配套具体的代码实战和案例复盘。
- 基础阶段（第1-3章）：建立模型压缩的全局认知，掌握评估指标（FLOPs、参数量、延迟、吞吐、内存占用）和工具链（PyTorch Profiler、ONNX Runtime、TensorRT）。
- 剪枝专项（第4-10章）：从非结构化剪枝（权重剪枝、稀疏训练）到结构化剪枝（通道剪枝、层剪枝、Transformer头剪枝），再到自动化剪枝（基于NAS的通道搜索）。
- 量化专项（第11-18章）：从后训练量化（PTQ）到量化感知训练（QAT），覆盖对称/非对称量化、逐层/逐通道量化、混合精度量化，以及Transformer和CNN的量化差异。
- 蒸馏专项（第19-24章）：从logit蒸馏到特征蒸馏、对比蒸馏，再到跨模态蒸馏和自蒸馏，最后探讨蒸馏与剪枝/量化的联合训练。
- 组合与部署（第25-30章）：三大技术的协同策略、模型压缩在TensorRT/TFLite/OpenVINO上的部署实践、端侧推理优化、以及真实项目中的压缩方案设计方法论。
在学习过程中，我们强调“以终为始”的思维方式。在动手压缩之前，必须先明确部署目标硬件的算子支持情况、内存上限、延迟要求。例如，如果你的目标硬件是手机NPU，那么量化几乎是必须的，而剪枝可能收益有限（因为NPU对稀疏计算支持不佳）；如果你的目标硬件是GPU服务器，那么剪枝和量化都能获得显著加速，但需要关注TensorRT的算子融合能力。
1.4 常见误区与复盘：压缩项目的“避坑指南”
在指导众多企业级压缩项目的过程中，我们总结出以下高频误区，这些误区往往导致压缩项目失败或效果远低于预期。
误区一：盲目追求压缩率，忽视精度悬崖。很多团队设定“必须压缩5倍”的目标，结果在压缩到3倍时精度已经大幅下降，但为了达成KPI继续强行压缩，最终模型无法上线。正确的做法是：先确定精度下限（例如mAP下降不超过2%），再反向搜索最大压缩率。压缩率与精度损失之间通常存在“拐点”，在拐点之前精度损失平缓，拐点之后急剧恶化。
误区二：只压缩权重，不优化激活值。模型推理时的内存占用和计算延迟不仅取决于权重，还取决于激活值。量化时如果只量化权重而保留FP32激活，那么内存带宽的收益会大打折扣。正确的做法是同时量化权重和激活，并针对激活值的动态范围进行校准。
误区三：忽略硬件特性，导致“纸面压缩”无法落地。例如，非结构化剪枝在理论上可以减少FLOPs，但GPU的Tensor Core不支持稀疏矩阵乘法，实际推理速度反而可能变慢。结构化剪枝虽然FLOPs减少，但如果剪枝后的通道数不是硬件对齐要求（如16的倍数），也无法充分利用SIMD指令。量化时，如果硬件不支持INT8卷积，那么量化后的模型只能反量化回FP32计算，收益大打折扣。
误区四：蒸馏时教师模型选择不当。教师模型并非越大越好。如果教师模型与学生模型的能力差距过大，学生模型难以从教师那里学到有效知识，反而可能不如直接训练学生模型。经验法则是：教师模型的精度应比学生模型高至少5%-10%，但参数量不宜超过学生模型的10倍以上。