4、知识蒸馏入门：教师-学生模型架构、软标签与硬标签、蒸馏温度参数、蒸馏在推理加速中的应用

知识蒸馏，说白了就是「大模型教小模型」。我最早接触这个概念是在2018年，当时团队有个BERT模型，推理慢得让人抓狂。后来用蒸馏技术，把模型缩小了60%，精度只掉了不到1%。嗯，今天我们就聊聊这个。

先看核心思想。我们有一个大模型（教师），一个小模型（学生）。教师负责输出「知识」，学生负责「学习」。但这里的知识不是简单的标签，而是概率分布。

我在项目中遇到过一个问题：学生模型直接学硬标签，效果很差。后来发现，教师模型输出的概率分布里，藏着很多「暗知识」。比如一张猫的图片，教师会说「90%是猫，8%是狗，2%是兔子」。这8%和2%就是关键。

核心架构三要素：

你想想看，为什么学生能学到教师的能力？因为教师输出的概率分布，包含了类别之间的相似性信息。比如「猫」和「狗」的相似度，比「猫」和「汽车」高得多。这些信息，硬标签是给不了的。

这里有个关键区别。硬标签就是one-hot向量，比如[1, 0, 0, 0]。软标签是概率分布，比如[0.85, 0.10, 0.03, 0.02]。

为什么会这样？硬标签只告诉学生「正确答案是什么」，但没告诉「其他选项有多接近」。软标签就不一样了，它包含了教师模型的「思考过程」。

类型	定义	特点
硬标签	one-hot向量，如[1, 0, 0]	信息量少，只含正确类别
软标签	概率分布，如[0.85, 0.10, 0.05]	信息丰富，包含类别间关系

我记得有一次做图像分类蒸馏，学生模型用硬标签训练，准确率只有82%。换成软标签后，直接跳到89%。差别就在那8%和5%上——这些「小概率」其实包含了教师对类别相似性的理解。

我的建议：软标签和硬标签可以一起用。用软标签让学生学「知识」，用硬标签让学生学「正确答案」。这叫「联合蒸馏」，效果通常更好。

温度参数T，这是个很有意思的东西。它控制着软标签的「软硬程度」。

公式很简单：

softmax(x_i / T) = exp(x_i / T) / Σ exp(x_j / T)

当T=1时，就是普通softmax。T越大，输出分布越平滑。T越小，越接近硬标签。

我在项目中遇到过一个问题：T设得太小，软标签跟硬标签没区别，学生学不到暗知识。T设得太大，分布太平坦，学生不知道该学什么。

注意：温度参数只在蒸馏阶段使用。推理时，学生模型用T=1做预测。千万别搞混了。

蒸馏最大的价值，就是推理加速。我做过一个实际案例：

你想想看，15倍的加速意味着什么？原来一台服务器能处理1000 QPS，现在能处理15000 QPS。硬件成本直接降一个数量级。

我曾经在一个推荐系统项目里用蒸馏。教师模型是DeepFM，学生模型是简化版的两层MLP。线上A/B测试，推荐效果几乎没变，但延迟从50ms降到了3ms。用户点击率反而提升了，因为页面加载更快了。

蒸馏加速的三种模式：

嗯，这里要注意一点。蒸馏不是万能的。如果教师模型本身就有问题，学生学到的也是错误知识。我建议先确保教师模型的质量，再开始蒸馏。

另外，蒸馏的训练时间比普通训练长。因为你需要同时跑教师和学生两个模型。但这是「一次投入，长期回报」——训练慢一点，推理快很多。

我的经验：蒸馏时，可以先用小批量数据做一次「预蒸馏」，看看学生模型能不能学到关键模式。如果预蒸馏效果差，就别浪费时间了，先调整教师模型或温度参数。

最后总结一下。知识蒸馏的核心就三件事：教师教学生、软标签传递暗知识、温度控制学习难度。它不是什么高深理论，而是一个非常实用的工程技巧。我几乎在每个推理加速项目里都会用上它。

想要更多资料，联系可可