蒸馏技术全景：从动机到工业落地
说起知识蒸馏，我最早接触是在2015年，当时还在做移动端图像识别。模型太大，手机跑不动，量化又掉点严重。后来读到Hinton那篇经典论文，才意识到——让大模型教小模型，这条路走得通。
说白了，蒸馏的核心动机就一句话：大模型太贵，小模型学不会。你想想看，一个BERT Large几亿参数，部署到手机端延迟动辄几百毫秒，用户早跑了。但直接用小模型从头训练，精度又差一大截。怎么办？让大模型当老师，把知识“蒸馏”给小模型。
教师-学生网络架构
架构本身不复杂。教师网络（Teacher）通常是预训练好的大模型，学生网络（Student）是我们要部署的小模型。训练时，学生同时学习两个目标：
- 硬标签损失：跟真实标签做交叉熵
- 软标签损失：跟教师输出的软概率做KL散度
这里有个关键参数——温度 T。温度越高，软标签的分布越平滑，类别间的细微关系越明显。我习惯把T设在3~8之间，具体看任务。
# 蒸馏损失计算示意
def distillation_loss(y_student, y_teacher, y_true, T=4, alpha=0.7):
soft_loss = KL_div(
softmax(y_student / T),
softmax(y_teacher / T)
) * (T ** 2)
hard_loss = CE(y_student, y_true)
return alpha * soft_loss + (1 - alpha) * hard_loss蒸馏的三大范式
蒸馏不是只有一种玩法。根据教师和学生模型的训练方式，业界主流分三种：
| 范式 | 训练方式 | 适用场景 | 我踩过的坑 |
|---|---|---|---|
| 离线蒸馏 | 教师预训练 → 固定 → 学生蒸馏 | 教师模型已存在，资源充足 | 教师太强，学生学不动 |
| 在线蒸馏 | 教师和学生同步训练 | 教师未预训练，或任务数据少 | 两个模型一起崩过 |
| 自蒸馏 | 自己当自己的老师（不同epoch） | 没有大模型，只有小模型 | 效果提升有限，别期望太高 |
离线蒸馏最常用。教师提前训好，学生只管模仿。我做过一个NLP分类任务，教师是BERT Large，学生是TinyBERT，精度只掉了0.3%，但推理速度提升了8倍。
在线蒸馏适合教师和学生一起成长的场景。我记得有一次做多模态任务，数据量只有几万条，离线蒸馏效果很差。换成在线蒸馏，教师和学生互相学习，最终提升了2个点。
自蒸馏嘛，说白了就是自己卷自己。把前几个epoch的模型当老师，当前模型当学生。我试过几次，效果有提升，但不如找个真老师来得明显。
蒸馏在工业界的典型应用场景
蒸馏不是学术玩具，工业界早就用起来了。我列几个亲身经历的场景：
- 移动端视觉模型：ResNet-50蒸馏成MobileNet-V3，精度掉1%以内，延迟从200ms降到30ms
- 推荐系统：双塔模型蒸馏成单塔，线上CTR持平，QPS翻倍
- 语音识别：大模型蒸馏成小模型，端侧实时识别，延迟低于100ms
- NLP推理加速：BERT蒸馏成ALBERT或DistilBERT，参数量减少40%，速度提升60%
说白了，只要你有部署压力，蒸馏就是第一选择。量化、剪枝、蒸馏三件套，我一般先做蒸馏，再做剪枝，最后量化。顺序不能乱，否则精度崩得厉害。
知识蒸馏全景图
下面这张图概括了蒸馏的核心流程和三大范式的关系：
嗯，这张图把核心流程和三大范式都串起来了。你仔细看——教师输出软标签，学生同时学软标签和硬标签，最终通过蒸馏损失优化。三大范式只是教师和学生的训练方式不同，本质没变。
蒸馏技术全景就聊到这儿。记住一句话：大模型是老师，小模型是学生，温度是调节器，损失是方向盘。后面我们会深入每个环节的工程细节和性能优化，到时候再细聊。