1. 课程导论与知识图谱

大家好，我是这门课的主讲。在NLP领域摸爬滚打了这么多年，我越来越觉得，模型蒸馏不是「锦上添花」，而是「雪中送炭」。你想想看，一个BERT-large模型跑在线上，延迟动不动就上百毫秒，GPU显存占得满满当当——老板看了成本想哭，用户等了半天没反应。

所以这门课的第一章，我们先聊聊最核心的问题：为什么需要模型蒸馏？以及它和剪枝、量化到底有什么区别和联系。

1.1 大模型的「三座大山」

先说说我自己的感受。几年前我在做智能客服项目时，把BERT-base部署到线上，结果发现一个问题：模型太大，跑不动。

具体来说，大模型在落地时会遇到三个坎：

• 推理延迟高——用户问一句，模型想半天，体验极差
• 显存占用大——一张V100只能塞一个模型，成本直线上升
• 功耗发热猛——尤其是在移动端或边缘设备上，根本跑不起来

说白了，模型效果越来越好，但部署门槛也越来越高。这时候就需要一些「瘦身」手段了。

1.2 蒸馏、剪枝、量化：三兄弟的区别与联系

很多同学会问：蒸馏、剪枝、量化，到底选哪个？我的答案是：它们不是互斥的，而是互补的。

我习惯用一个比喻来解释：

• 蒸馏——像老师教学生，把大模型的知识「浓缩」到小模型里
• 剪枝——像修剪树枝，去掉不重要的连接或神经元
• 量化——像把高精度照片转成低精度，牺牲一点细节换体积

下面这张表可以帮你快速区分：

维度	蒸馏	剪枝	量化
核心思想	知识迁移	结构稀疏化	精度压缩
是否改变架构	是（小模型）	是（剪掉部分结构）	否（仅改数据类型）
是否需要重新训练	需要	通常需要微调	可训练后直接转换
推理加速效果	显著（2-5倍）	中等（1.5-3倍）	显著（2-4倍）
精度损失	较小	中等	较小（INT8）

1.3 为什么蒸馏是「首选」？

你可能会问：既然剪枝和量化也能加速，为什么还要学蒸馏？

嗯，这里有个关键点：蒸馏能保留「暗知识」。

大模型学到的不仅仅是硬标签（比如「这是猫」），还有软概率分布（比如「0.7像猫，0.2像狗，0.1像兔子」）。这些软概率里藏着丰富的语义信息，剪枝和量化是学不到的。

我记得有一次做文本分类任务，直接用剪枝后的模型，准确率掉了3个点。但换成蒸馏方案，只掉了0.5个点，而且推理速度还更快。从那以后，我就把蒸馏作为模型压缩的「第一选择」了。

1.4 知识图谱：本课程的核心脉络

为了让你对整个课程有个全局认识，我画了一张知识图谱。这张图涵盖了从理论到实践的完整路径：

1.5 学习路径与目标

这门课一共30章，我把它分成了三个阶段：

1. 基础篇（第1-8章）：讲透蒸馏的理论基础，包括软标签、温度系数、损失函数设计等。你会亲手实现一个蒸馏训练流程。
2. 实战篇（第9-18章）：聚焦部署调试，从ONNX导出到TensorRT优化，再到Docker容器化。我会分享一些线上踩坑的经验。
3. 进阶篇（第19-30章）：深入推理加速，包括INT8量化、FlashAttention、KV Cache优化等。这部分是真正拉开差距的地方。

1.6 你能得到什么？

学完这门课后，你至少能：

• 独立完成一个NLP模型的蒸馏训练，精度损失控制在1%以内
• 把模型部署到生产环境，推理延迟降低50%以上
• 掌握INT8量化、算子融合等高级加速技巧
• 遇到线上性能问题时，能快速定位并优化