3. 教师模型选型：ResNet、ViT、Swin Transformer 等主流架构对比
教师模型选型，说白了就是给蒸馏找个好老师。老师选对了，学生学得快；老师选错了，折腾半天效果还不如直接训练学生。我这些年踩过不少坑，今天把经验掰开揉碎讲给你听。
3.1 主流架构速览：它们各自擅长什么？
目前主流的教师模型候选，基本就这三大家族：ResNet、ViT、Swin Transformer。咱们先看看它们各自的特点。
| 架构 | 核心思想 | 参数量（典型） | 计算量（GFLOPs） | 优势场景 |
|---|---|---|---|---|
| ResNet | 残差连接，解决深层退化 | 25M (ResNet-50) | ~4.1 | 中小数据集、移动端、快速迭代 |
| ViT | 纯Transformer，图像分块+自注意力 | 86M (ViT-Base) | ~17.6 | 大数据集、全局依赖、多模态 |
| Swin Transformer | 层级式Transformer，窗口注意力 | 88M (Swin-Base) | ~15.4 | 密集预测、检测分割、中等数据 |
关键认知：教师模型不是越大越好。我见过有人拿 ViT-Huge 当老师去教 MobileNet，结果学生根本学不动——知识差距太大，蒸馏损失直接崩了。
3.2 按任务选型：三个实战场景
场景一：图像分类（中小规模数据，如 CIFAR-100、Tiny-ImageNet）
我个人习惯首选 ResNet-50 或 ResNet-101。为什么？
- ResNet 在中小数据集上不容易过拟合，训练稳定。
- 它的特征图是层级式的，适合做特征迁移——你可以在不同 stage 做对齐。
- 推理速度快，做教师模型推理时不会成为瓶颈。
我在项目中遇到过一件事：用 ViT-Base 在 CIFAR-100 上做教师，结果教师自己都没训好，准确率才 78%。换成 ResNet-101，教师训到 82%，学生跟着学到了 79%。你想想看，老师自己都没及格，怎么教学生？
小技巧：如果数据量在 10 万以下，优先考虑 ResNet。实在想用 Transformer，记得加 strong augmentation 和更长的 warmup。
场景二：密集预测（检测、分割，如 COCO、ADE20K）
这里 Swin Transformer 是王者。原因有三：
- 层级特征图：Swin 有 4 个 stage，输出多尺度特征，天然适配 FPN、Mask R-CNN 这类检测头。
- 窗口注意力：计算量可控，不会像 ViT 那样全局注意力直接爆显存。
- 迁移友好：Swin 的窗口划分方式，让学生模型（比如轻量 CNN）更容易模仿局部到全局的过渡。
我曾经在 COCO 上做过对比：Swin-Base 做教师，学生是 ResNet-18 检测器，mAP 从 32.1 提升到 35.6。换成 ViT-Base 做教师，只涨到 34.2。为什么？因为 ViT 的全局注意力太抽象了，学生学不到那个「局部纹理→全局语义」的中间表征。
避坑指南：用 Swin 做教师时，注意特征对齐的 stage 选择。我建议只对齐 stage 2-4，stage 1 分辨率太高，显存扛不住，而且低级特征对蒸馏帮助有限。
场景三：大规模预训练 + 下游微调（如 ImageNet-21K、JFT-300M）
数据量上千万甚至上亿时，ViT 的优势就出来了。它的全局自注意力能捕捉长距离依赖，在大数据上泛化能力极强。
但这里有个坑：ViT 做教师时，知识蒸馏的 logits 温度要调高。我记得有一次用 ViT-Large 蒸馏 DeiT-Tiny，温度设成 1.0，学生只学到 68% 准确率。后来把温度调到 4.0，直接跳到 72%。
为什么会这样？ViT 的 logits 分布太「尖锐」了，高温度能把它软化，让学生看到更多类间关系。
3.3 架构对比：一张图看懂选型逻辑
下面这张图是我自己总结的选型决策流程，你可以直接拿来用。
3.4 选型清单：五个必问问题
每次选教师模型前，我都会问自己这五个问题。你也可以照着来：
- 数据量够不够？ 少于 10 万 → ResNet；10 万~100 万 → Swin；多于 100 万 → ViT。
- 任务需要多尺度特征吗？ 检测/分割 → Swin；分类 → ResNet 或 ViT 都行。
- 计算资源有限吗？ 显存小于 16GB → 别碰 ViT，ResNet 最稳。
- 学生模型是什么？ 学生是轻量 CNN → 教师别太强，ResNet-50 足够；学生也是 Transformer → 教师可以上 ViT。
- 蒸馏策略是什么？ 只用 logits 蒸馏 → 架构差异影响小；要做特征迁移 → 教师和学生最好有相似的层级结构。
我的经验：如果你实在拿不准，就选 ResNet-101。它是个「万金油」，在大多数任务上表现稳定，而且社区资源丰富，踩坑了也容易找到解决方案。
3.5 一个真实案例：我踩过的坑
去年有个项目，要在手机上做实时行人检测。学生模型选的是 MobileNetV3-SSD。我当时想，教师越强越好，直接上了 ViT-Base。
结果呢？
- 教师模型在 GPU 上推理一张图要 80ms，数据预处理成了瓶颈。
- 蒸馏出来的学生，mAP 只比直接训练高了 1.2 个点。
- 后来换成 Swin-Tiny 做教师，推理只要 20ms，学生 mAP 反而涨了 2.8 个点。
为什么？因为 ViT 的特征图是 16×16 的 patch 网格，和 MobileNet 的 7×7 特征图差距太大，特征迁移时对齐损失根本学不到东西。Swin 的层级特征和 MobileNet 更匹配。
教训：教师模型不是越强越好，而是越「匹配」越好。匹配包括：特征图分辨率、层级结构、感受野大小。这些比参数量更重要。
3.6 总结：选型三原则
最后，给你三个可以贴在工位上的原则：
- 数据量决定上限：数据少用 ResNet，数据多用 ViT，中间用 Swin。
- 任务决定结构：密集预测用 Swin，分类用 ResNet 或 ViT，预训练用 ViT。
- 匹配决定效果：教师和学生的特征图结构越像，蒸馏效果越好。