一、课程导论：模型压缩与知识蒸馏的底层逻辑
大家好，我是这门课的主讲。在NLP领域摸爬滚打了快十年，我见过太多“大模型跑不动”的尴尬场景。今天咱们就来聊聊，为什么模型压缩成了刚需，以及知识蒸馏到底在解决什么问题。
1.1 什么是模型压缩？
说白了，模型压缩就是给大模型“减肥”。你想想看，一个BERT-large有3.4亿参数，跑一次推理要几百毫秒，显存占用1.2GB以上。这在服务器上还行，放到手机端、IoT设备上，根本跑不起来。
我遇到过最典型的场景：某金融客户要在手机App里做实时意图识别，模型必须控制在50MB以内，推理时间不能超过50ms。原始BERT直接超了20倍。这时候，压缩就是唯一出路。
常见的压缩手段有这几种：
| 方法 | 核心思路 | 典型压缩比 | 精度损失 |
|---|---|---|---|
| 剪枝 | 去掉不重要的连接或神经元 | 2x-10x | 低~中 |
| 量化 | 用低精度（如INT8）替代FP32 | 4x | 低 |
| 低秩分解 | 将大矩阵拆成小矩阵乘积 | 2x-5x | 中 |
| 知识蒸馏 | 用小模型学习大模型的“知识” | 10x-100x | 低 |
我个人习惯把蒸馏放在首位。为什么？因为其他方法往往需要硬件支持或特殊算子，而蒸馏是纯算法层面的，通用性最强。
1.2 为什么需要蒸馏？
直接训练一个小模型不行吗？我试过，效果确实差一截。原因在于：小模型的容量有限，很难直接从原始数据中学会那些复杂的语言模式。
蒸馏的思路很巧妙：让一个大模型（教师）先学会，再把它学到的“经验”教给一个小模型（学生）。教师模型见过海量数据，它的输出分布里藏着丰富的“暗知识”——比如“苹果”和“梨”的相似度，以及“苹果”和“汽车”的差异度。
1.3 知识蒸馏的核心思想
蒸馏的核心就一句话：让学生模型模仿教师模型的输出分布。但这里有个关键点——不是只模仿最终的分类结果，而是要模仿教师模型在softmax之前的logits分布。
为什么会这样？因为教师模型对“错误答案”也有偏好。比如一个情感分类任务，教师模型对“正面”输出0.9，对“负面”输出0.05，对“中性”输出0.05。这0.05里其实包含了“这个样本更接近中性而非负面”的信息。直接训练的小模型学不到这种细粒度知识。
Hinton在2015年提出的蒸馏损失函数，核心就是引入一个“温度系数”T：
# 蒸馏损失的核心公式（伪代码）
def distillation_loss(student_logits, teacher_logits, T=4):
# 用高温软化概率分布
soft_student = softmax(student_logits / T)
soft_teacher = softmax(teacher_logits / T)
# 计算KL散度
loss = KL_divergence(soft_teacher, soft_student) * T^2
return loss温度T越高，概率分布越平滑，小模型能学到更多“暗知识”。我一般把T设在3-8之间，具体要看任务难度。
1.4 三大范式：离线、在线、自蒸馏
蒸馏不是只有一种玩法。根据教师模型和学生模型的训练方式，可以分为三大范式。我画了一张图帮你理清关系：
1.5 离线蒸馏
这是最经典的范式。先训练一个大型教师模型，然后固定住它，用它生成的软标签来指导学生模型训练。教师模型可以是BERT-large、GPT-3这种庞然大物，学生模型可以是TinyBERT、DistilBERT这种轻量级模型。
我曾经在一个命名实体识别任务里，用BERT-base做教师，蒸馏出一个4层的TinyBERT。效果怎么样？F1值只掉了0.8%，但推理速度提升了8倍，模型体积从440MB降到了57MB。客户非常满意。
1.6 在线蒸馏
在线蒸馏里，教师和学生是同时训练的。两个模型互相学习，共同进步。这种范式适合两个模型规模相近的场景——比如两个BERT-tiny互相蒸馏。
我试过一次在线蒸馏做文本匹配。两个6层Transformer互相学习，最终效果比单独训练提升了2.1%。但代价是训练时间翻倍了。嗯，这里要注意：在线蒸馏的收敛速度通常比离线慢，需要更多的训练步数。
1.7 自蒸馏
自蒸馏是个很有意思的思路。模型在训练过程中，把自己早期阶段的输出作为“教师信号”，来指导后期阶段的训练。说白了，就是自己教自己。
我刚开始接触自蒸馏时觉得有点玄学。后来在图像分类任务上试了一次，发现确实能加速收敛，还能提升1-2个点的准确率。原理其实很简单：模型在早期学到的特征比较粗糙，但包含了更泛化的信息；后期模型学得太精细，反而容易过拟合。自蒸馏正好平衡了这两者。