1. 知识蒸馏概述：什么是知识蒸馏、为什么需要知识蒸馏、知识蒸馏的三大范式

大家好，我是你们这趟课的老朋友。咱们今天开篇聊一个在模型部署圈子里特别火的话题——知识蒸馏。

说实话，我最早接触这个概念是在2018年。那时候我刚把一个BERT模型塞进手机端，结果模型太大，推理一次要等好几秒。用户反馈说“这App是不是卡死了”。嗯，那感觉挺尴尬的。后来我翻到了Hinton老爷子那篇经典论文，才意识到：原来我们可以让一个大模型“教”一个小模型，把它的本事学过来。

这就是知识蒸馏的起点。说白了，就是让一个复杂的大模型（教师网络）去指导一个精简的小模型（学生网络）学习。学生模型学到的不是原始数据里的硬标签，而是教师模型输出的“软概率分布”——这里面藏着类别之间的相似关系，信息量比硬标签丰富得多。

1.1 为什么需要知识蒸馏？

你可能要问：直接训练一个小模型不行吗？为什么非要绕一圈？

我在项目里踩过这个坑。有一次我们直接训练一个轻量级CNN做图像分类，调了半个月参数，准确率死活上不去。后来用ResNet-152做教师蒸馏，同样的学生结构，准确率直接涨了4个点。为什么会这样？

原因其实不复杂：

• 大模型学到的特征更丰富。教师模型参数量大，能捕捉到数据里更细微的模式。这些模式通过软标签传递给学生，学生相当于站在巨人的肩膀上。
• 软标签比硬标签信息量大。硬标签只告诉你“这是猫”，软标签告诉你“这有80%像猫，15%像狗，5%像兔子”。这种相对关系对小模型特别有用。
• 部署场景的硬约束。你想想看，自动驾驶、手机App、IoT设备，哪个能跑得动几百层的Transformer？算力、内存、功耗都是天花板。蒸馏就是在这条天花板下面，把性能拉到最高。

1.2 知识蒸馏的三大范式

蒸馏不是只有一种玩法。根据教师和学生模型的训练方式，业内一般分成三大类。我按自己的理解给你捋一捋。

1.2.1 离线蒸馏（Offline Distillation）

这是最经典、最常用的方式。流程很简单：

1. 先训好一个教师模型，参数冻结。
2. 用教师模型对训练数据做一次前向推理，生成软标签。
3. 学生模型同时学习硬标签（真实标签）和软标签（教师输出）。

我习惯叫它“先师后徒”。教师训完就退休了，学生自己慢慢学。好处是教师只跑一次，训练成本低。坏处是教师的能力上限固定了，学生学不到教师训练过程中的“成长轨迹”。

维度	离线蒸馏
教师状态	预训练后冻结
训练成本	低（教师只推理一次）
学生上限	受限于教师最终能力
适用场景	大部分工业落地场景

1.2.2 在线蒸馏（Online Distillation）

在线蒸馏就有点意思了。教师和学生同时训练，互相学习。教师不是固定的，它也在不断进化。

我记得有一次做多模态蒸馏，数据分布特别复杂，离线蒸馏怎么调都欠拟合。换成在线蒸馏后，教师和学生一起迭代，效果明显好了。为什么？因为教师也在适应数据中的新模式，学生能学到更实时的知识。

在线蒸馏的典型做法是：教师和学生共享一个分类头，或者通过对抗训练互相提升。代价是训练时间翻倍，GPU显存也得多吃一份。

维度	在线蒸馏
教师状态	与学生同步训练
训练成本	高（双模型同时训）
学生上限	可能超越离线蒸馏
适用场景	数据分布动态变化

1.2.3 自蒸馏（Self-Distillation）

自蒸馏是我个人觉得最巧妙的一种。它不需要单独的教师模型。学生自己就是自己的老师。

具体做法：在训练过程中，把模型早期epoch的输出作为软标签，去指导后期epoch的学习。或者把模型深层的特征图拿出来，去约束浅层的特征图。

你想想看，这其实挺符合人类学习规律的——你今天的自己，去教昨天的自己。我在一个文本分类项目里试过自蒸馏，学生模型参数量没变，但收敛速度加快了30%，最终精度也提升了1.2%。

维度	自蒸馏
教师状态	模型自身（不同阶段）
训练成本	低（无需额外教师）
学生上限	受限于模型自身容量
适用场景	无法获得大教师模型时

1.3 三大范式对比总览

为了让你一眼看清区别，我画了一张结构图。这张图把三种蒸馏方式的流程和关系都串起来了。

1.4 怎么选？我的建议

三种范式没有绝对的好坏。我一般这样选：

• 手头有大模型，资源够 → 离线蒸馏。最稳，最省心。
• 数据分布复杂，教师也在摸索 → 在线蒸馏。虽然贵，但上限高。
• 没有大模型，或者想极致压缩 → 自蒸馏。零成本启动，试试不亏。