4. 学生模型设计

知识蒸馏里，教师模型负责「教」，学生模型负责「学」。学生模型选得好不好，直接决定了压缩效果和推理速度。我个人习惯把学生模型设计比作「带着镣铐跳舞」——既要足够轻，又得保留教师的知识精华。

这一章，我们重点拆解两个主流轻量级Transformer：TinyBERT 和 DistilBERT。它们代表了两种不同的压缩思路，各有各的绝活。

4.1 为什么不能直接用小BERT？

你可能会问：BERT不是有tiny、mini这些版本吗？直接用不行吗？

嗯，这里要注意。小BERT和蒸馏得到的学生模型，本质区别在于训练方式。

我在项目中遇到过类似情况：直接用6层BERT做分类，F1只有82%。换成蒸馏后的6层学生模型，同样的参数量，F1直接跳到88%。差距就在「知识迁移」这四个字上。

4.2 DistilBERT：最直接的「瘦身」方案

DistilBERT的思路很朴素——把12层砍成6层，其他基本不变。说白了就是「减层不减结构」。

4.2.1 架构变化

• 层数：12层 → 6层（减少一半）
• 隐藏维度：768保持不变
• 注意力头数：12头保持不变
• 总参数量：约1.1亿 → 约0.66亿（减少40%）

为什么只减层数？我记得当时读DistilBERT论文时，作者做过实验：减隐藏维度会严重损失性能，而减层数的影响相对可控。这个发现很关键——它告诉我们，Transformer的深度冗余比宽度冗余更明显。

4.2.2 训练技巧

DistilBERT用了三个损失函数联合训练：

# 伪代码示意
loss = alpha * distillation_loss + beta * supervised_loss + gamma * cosine_loss

# distillation_loss: 教师logits和学生logits的KL散度
# supervised_loss: 学生模型在标注数据上的交叉熵
# cosine_loss: 教师和学生隐藏层输出的余弦相似度

4.3 TinyBERT：更精细的「分层蒸馏」

TinyBERT比DistilBERT更进一步。它不光减层数，还减了隐藏维度和注意力头数。更重要的是，它引入了分层蒸馏——每一层都向教师模型对应层学习。

4.3.1 架构对比

你看，TinyBERT-4层只有1400万参数，推理速度是BERT的9倍多。这个压缩比在工业场景里非常实用。

4.3.2 分层蒸馏的核心逻辑

TinyBERT的蒸馏分三个阶段：

1. 嵌入层蒸馏：让学生模型的词嵌入接近教师模型
2. 隐藏层蒸馏：每一层Transformer的输出都做匹配
3. 注意力蒸馏：让学生模型的注意力矩阵模仿教师模型

4.4 两种架构的核心差异

我把DistilBERT和TinyBERT的差异总结成一张表，方便你对比选型：

4.5 知识结构图：轻量级Transformer设计全景

下面这张图展示了学生模型设计的核心路径和决策点：

4.6 实战选型建议

说了这么多理论，到底怎么选？我给出三个典型场景的推荐：

• 场景一：移动端部署（手机App、IoT设备）→ TinyBERT-4层，1400万参数，9倍加速
• 场景二：服务端高并发（API接口、在线推理）→ TinyBERT-6层，2700万参数，5倍加速
• 场景三：精度敏感型（医疗、法律文本分析）→ DistilBERT，6600万参数，1.6倍加速