📚 课程目录第2章教师模型选型

2. 教师模型选型

说实话，教师模型选型这件事，很多同学一开始都不太当回事。觉得随便找个大模型当老师，学生模型使劲学就行了。我早年也这么干过，结果呢？学生模型学了一堆用不上的知识，推理速度倒是快了，精度却掉了好几个点。后来我才明白——选老师，比选学生更重要。

这一章，我们就来聊聊教师模型选型的几个核心问题。我会结合自己踩过的坑，把策略、权衡、风险都掰开揉碎讲清楚。

选教师模型，说白了就是选一个「知识源头」。源头好不好，直接决定蒸馏效果。我个人习惯从三个维度来评估：

我的小技巧： 先跑一个快速对比实验。拿一个小型验证集，让候选教师模型和学生模型都做一次推理，看精度差距。如果差距小于3个点，换老师吧，这个老师教不了太多东西。

选教师模型还有一个容易被忽略的点——任务对齐度。教师模型最好是在相同或相似任务上预训练或微调过的。我在项目中遇到过用通用BERT当老师去蒸馏一个医疗NER模型，结果教师模型连「阿司匹林」和「布洛芬」都分不清，蒸馏出来的学生模型自然也好不到哪去。

大模型当老师，小模型当学生，这是最常见的搭配。但这里有个陷阱：能力鸿沟。

你想想看，一个千亿参数的GPT级模型，去教一个几亿参数的轻量模型。老师讲得太深奥，学生根本听不懂。蒸馏出来的学生模型，往往只学到了教师模型的「皮毛」，甚至可能学到教师模型的「偏见」。

我建议遵循一个原则：教师模型的能力上限，不要超过学生模型的3-5倍（按参数量或FLOPs估算）。

避坑指南： 我曾经用GPT-3（175B）去蒸馏一个1.5B的模型，结果学生模型在简单任务上表现不错，但在复杂推理任务上几乎完全失效。后来分析发现，教师模型的「软标签」分布过于尖锐，学生模型根本学不到中间层的语义信息。后来换成GPT-2 XL（1.5B）当老师，效果反而更好。

当然，也不是说大模型完全不能用。如果你有足够的计算资源，可以用大模型先生成一批「伪标签」或「中间层特征」，然后离线蒸馏。这样教师模型的推理成本只付一次，学生模型训练时不再依赖教师模型。

单教师模型简单直接，但集成教师模型往往能带来更稳定的知识传递。怎么选？我一般看场景：

单教师适用场景： 任务单一、数据量充足、教师模型本身已经很强（比如在ImageNet上top-1超过90%）。这时候一个老师就够了，集成反而增加复杂度。
集成教师适用场景： 任务复杂、数据有噪声、多个教师模型在不同子任务上各有所长。比如做多模态任务，一个视觉模型+一个语言模型联合当老师，效果通常比单一模型好。

集成教师有两种常见做法：

    我的经验： 集成教师模型时，不要超过3个。超过3个之后，边际收益急剧下降，反而增加训练时的显存开销。我一般用2个教师模型——一个精度最高的，一个泛化能力最强的。

这里有一个细节：集成教师的「软标签」分布，往往比单教师更平滑。为什么呢？因为多个模型的预测偏差会相互抵消，最终得到的概率分布更接近真实分布。学生模型学起来也更轻松。

教师模型不是万能的。它也有能力边界，也有过拟合风险。我见过不少团队，把教师模型当成「真理」，结果学生模型把教师模型的错误也学过去了。

教师模型的过拟合风险主要体现在两个方面：

风险类型	表现	我的应对方法
标签过拟合	教师模型在训练集上精度极高，但在验证集上泛化差	用验证集上的软标签，而不是训练集上的
特征过拟合	教师模型的中间层特征包含大量噪声	对中间层特征做dropout或加噪声，强制学生模型学鲁棒特征

为什么会这样？教师模型在训练时，可能记住了训练集中的「捷径」——比如某个样本的特定噪声模式。蒸馏时，学生模型也会学到这些捷径，导致泛化能力下降。

我建议在蒸馏前，先对教师模型做一次「能力边界评估」：

我曾经踩过的坑： 有一个项目，教师模型在训练集上F1达到98%，我兴冲冲地开始蒸馏。结果学生模型在线上表现很差，F1只有72%。后来一查，教师模型在训练集上过拟合了，把很多标注噪声都学进去了。学生模型完美继承了这些噪声。从那以后，我每次蒸馏前都会先检查教师模型的泛化能力。

最后，给一个简单的教师模型选型流程图，帮你快速决策：

嗯，这一章的内容就到这里。教师模型选型没有银弹，关键是根据你的任务、资源和学生模型的能力来权衡。记住一句话：最好的老师，不是最强的老师，而是最会教的老师。