为什么需要模型压缩？蒸馏与特征迁移的核心思想
大家好，我是这次课程的主讲。在正式开始之前，我想先聊聊一个很现实的问题——你辛辛苦苦训练了一个 BERT-large，精度确实漂亮，但一部署到手机或者边缘设备上，直接卡死。嗯，这种情况我遇到过不止一次。
说白了，大模型就像一辆重型卡车，拉货能力强，但油耗高、体积大，很多小路根本开不进去。而我们的目标，是把它变成一辆灵活的小轿车——保留大部分运力，但能跑遍大街小巷。
模型压缩：为什么非做不可？
先看几个数字。一个 BERT-base 模型，参数量 1.1 亿，FP32 下占 440MB 内存。一次前向推理，在 CPU 上大概要 200-300ms。你想想看，如果放到线上服务，QPS 能有多少？
我做过一个项目，要把意图识别模型塞进智能音箱。原始模型 500MB，音箱只有 256MB 内存。怎么办？只能压缩。最后我用蒸馏加量化，把模型压到 30MB，精度只掉了 0.7%。
所以，模型压缩不是锦上添花，而是刚需。具体来说，有这几个驱动力：
| 驱动力 | 具体问题 | 我的经验 |
|---|---|---|
| 部署成本 | 大模型需要高端 GPU/TPU，推理成本高 | 曾经一个客户，每天调用量 100 万次，用大模型一个月电费就 5 万 |
| 延迟要求 | 实时场景要求毫秒级响应 | 语音助手必须 200ms 内出结果，大模型做不到 |
| 设备限制 | 手机、IoT 设备内存和算力有限 | 智能手表上跑 NLP？想都别想，必须压缩 |
| 带宽约束 | 模型下载、更新需要流量 | App 包体超过 100MB，用户就不愿意下载了 |
知识蒸馏：老师教学生
知识蒸馏的核心思想，我可以用一句话说清楚：让一个小模型（学生）去模仿一个大模型（老师）的行为。
但这里有个关键点——不是直接学老师的预测结果，而是学老师的「思考过程」。什么意思？
举个例子。一个文本分类模型，对「这家餐厅不错」这句话，硬标签是「正面」。但老师的 softmax 输出可能是：正面 0.85，中性 0.12，负面 0.03。这 0.12 和 0.03 就是老师的「暗知识」——它知道这句话其实带点中性色彩。
学生模型如果只学硬标签，就丢失了这些信息。所以蒸馏时，我们会用温度参数 T 把 softmax 分布变软，让学生学到更丰富的知识。
核心公式（简化版）：
蒸馏损失 = α × 学生与老师 soft 标签的 KL 散度 + (1-α) × 学生与真实硬标签的交叉熵
其中 T 控制 soft 程度，T 越大，分布越平滑
我个人习惯把 T 设在 3-8 之间。太小了，软标签跟硬标签差不多；太大了，所有类别概率都接近，学不到区分度。
特征迁移：不止学结果，还要学过程
蒸馏学的是输出层，但老师模型中间层的特征其实更有价值。你想想看，BERT 的每一层都在提取不同粒度的语义信息——底层学词法，中层学句法，高层学语义。
特征迁移，就是让学生模型去匹配老师模型中间层的特征表示。具体做法有几种：
- 直接匹配：让学生某层的输出，去逼近老师对应层的输出，用 MSE 损失
- 注意力迁移：匹配 Transformer 的注意力矩阵，让学生学会关注同样的位置
- 关系迁移：不匹配单个样本的特征，而是匹配样本之间的关系
我曾经在命名实体识别任务上做过对比。只用蒸馏，F1 掉了 2 个点；加上特征迁移，只掉 0.3 个点。效果很明显。
我的建议：
特征迁移不是层数越多越好。选 3-5 个关键层就够了，选太多反而引入噪声。我一般选老师模型的前 1/3、中间 1/3 和后 1/3 各一层。
蒸馏 + 特征迁移的整体流程
把这两者结合起来，就是本课程的核心框架。我画了一张图，帮你理清关系：
整个流程其实就三步：
- 训练老师模型：用大量数据训一个大模型，精度越高越好
- 设计学生模型：结构更小更轻量，但保留核心能力
- 联合训练：同时用蒸馏损失、特征损失和硬标签损失来优化学生
避坑指南：
我曾经犯过一个错误——把 α、β、γ 三个超参设成一样的值。结果学生模型学歪了，只关注匹配老师，忽略了真实标签。后来我改成 α=0.7, β=0.2, γ=0.1，效果才好起来。记住，硬标签的权重不能太低。
本课程能给你什么？
30 章内容，从原理到代码，从单机训练到分布式部署，我会带你完整走一遍。你会学到：
- 怎么选老师模型和学生模型的结构
- 蒸馏温度 T 怎么调
- 特征迁移选哪些层效果最好
- 训练时怎么避免学生模型「学偏」
- 最后怎么把模型量化、剪枝，压到最小
嗯，内容不少。但别担心，我会用实际项目案例一步步带你做。准备好了吗？我们开始吧。