📚 课程目录第3章模型轻量化技术（下）

3、模型轻量化技术（下）：知识蒸馏在农业模型中的应用、量化感知训练与后训练量化

上一节我们聊了剪枝和矩阵分解，说白了就是把模型里“不干活”或者“干重复活”的部分去掉。这一节咱们继续往下走，聊聊另外两个更“软”的轻量化手段——知识蒸馏和量化。

这两个技术，我在农业项目里用得特别多。尤其是知识蒸馏，简直是“大模型带小模型”的黄金搭档。量化呢，则是把模型从“高精度浮点”拽到“低精度整数”的必经之路。嗯，咱们一个一个来拆。

3.1 知识蒸馏：大模型当老师，小模型当学生

知识蒸馏这个概念，最早是Hinton他们在2015年提出来的。核心思想很简单：你有一个训练好的大模型（老师），它的“知识”不仅仅体现在最终的分类结果上，更体现在它对于不同类别的“软概率”分布上。

举个例子，一个农业病害识别模型，输入一张带有稻瘟病的叶片图片。老师模型可能输出：稻瘟病 0.95，稻曲病 0.03，健康 0.02。这个分布里，0.95和0.02之间的差距，其实隐藏了“稻瘟病和稻曲病在视觉特征上有点接近”的信息。学生模型如果只学硬标签（0或1），就学不到这种“模糊地带”的知识。

核心公式（简化版）：

蒸馏损失 = α × 学生与老师软标签的KL散度 + (1-α) × 学生与真实硬标签的交叉熵

其中，软标签需要经过一个“温度系数T”软化：T越高，概率分布越平滑，知识越容易被学生吸收。

3.1.1 农业场景下的蒸馏策略

我在做水稻病虫害识别模型时，遇到过一个问题：老师模型是ResNet-50，参数量25M，在服务器上跑得飞快。但部署到田间边缘设备（比如Jetson Nano）上，推理延迟高达200ms，根本没法用。学生模型选的是MobileNetV3-Small，参数量只有2.5M。

直接训练MobileNet，Top-1准确率只有82%。但用蒸馏方式，把ResNet-50的软标签拿过来，配合温度系数T=4，准确率直接跳到了88%。

这里有个避坑指南：温度系数不是越大越好。我曾经试过T=10，结果软标签太平滑，学生模型学成了一团浆糊，准确率反而掉到了80%。

我的经验参数：

分类任务：T=3~5，α=0.7
检测任务（如YOLO蒸馏）：T=2~3，α=0.5
分割任务：T=4~6，α=0.8

3.1.2 代码示例：PyTorch蒸馏训练框架

import torch
import torch.nn.functional as F

def distillation_loss(student_output, teacher_output, labels, T=4.0, alpha=0.7):
    # 软化老师输出
    soft_teacher = F.softmax(teacher_output / T, dim=1)
    # 软化学生输出
    soft_student = F.log_softmax(student_output / T, dim=1)
    # KL散度损失
    kl_loss = F.kl_div(soft_student, soft_teacher, reduction='batchmean') * (T * T)
    # 硬标签交叉熵
    ce_loss = F.cross_entropy(student_output, labels)
    # 加权组合
    return alpha * kl_loss + (1 - alpha) * ce_loss

# 训练循环中
teacher_model.eval()  # 老师模型不更新梯度
with torch.no_grad():
    teacher_logits = teacher_model(images)
loss = distillation_loss(student_logits, teacher_logits, labels)
loss.backward()
optimizer.step()

注意那个 (T * T) 的系数。这是为了保持梯度尺度一致，否则温度系数一高，梯度就变小了，训练半天不动弹。我刚开始写的时候漏了这个，结果模型训了20个epoch都没收敛。

3.2 量化：从浮点到整数的跨越

量化，说白了就是把模型里的权重和激活值，从32位浮点数（FP32）压缩到8位整数（INT8）。这样一来，模型体积直接缩小4倍，推理速度也能提升2~4倍。

但量化不是简单的四舍五入。你想想看，FP32能表示的数值范围是 ±3.4×10³⁸，而INT8只有 -128~127。怎么把一个大范围映射到小范围，同时尽量少损失精度？这就是量化的核心问题。

3.2.1 两种量化路线

对比维度	后训练量化（PTQ）	量化感知训练（QAT）
是否需要重新训练	不需要	需要
精度损失	较大（1%~3%）	较小（0.1%~0.5%）
部署速度	快（几小时搞定）	慢（需要几天训练）
适用场景	精度要求不高的快速部署	精度敏感的农业核心模型

我个人习惯：先做PTQ试试水。如果精度掉得不多，就直接用。如果掉得厉害，再上QAT。毕竟QAT要改训练代码，还要重新跑一遍训练，时间成本不低。

3.2.2 后训练量化（PTQ）实战

PTQ的核心是“校准”。你需要准备一小批代表性数据（几百张图片就够了），让模型跑一遍推理，统计出每一层激活值的分布范围（min, max）。然后根据这个范围，计算出缩放因子（scale）和零点（zero_point）。

我在部署小麦病害模型时，用过PyTorch的量化工具包。流程大概是这样的：

import torch
import torch.quantization as quant

# 1. 准备模型，设置为eval模式
model.eval()

# 2. 配置量化后端（这里用x86，如果是ARM用qnnpack）
model.qconfig = quant.get_default_qconfig('x86')

# 3. 准备量化（插入观察者）
model_prepared = quant.prepare(model, inplace=False)

# 4. 校准：用几百张图片跑推理，收集激活值分布
with torch.no_grad():
    for images in calibration_loader:
        model_prepared(images)

# 5. 转换为量化模型
model_quantized = quant.convert(model_prepared, inplace=False)

# 6. 保存
torch.jit.save(torch.jit.script(model_quantized), 'model_int8.pt')

注意：校准数据一定要来自真实部署场景。我曾经偷懒，用了训练集的图片做校准，结果模型在田间部署时，因为光照条件不同，激活值分布完全变了，推理结果直接崩了。后来我专门去田里拍了500张照片做校准，问题才解决。

3.2.3 量化感知训练（QAT）

QAT的原理，是在训练过程中模拟量化误差。具体做法是：在前向传播时，把权重和激活值“伪量化”（先量化再反量化），让模型学会适应这种精度损失。反向传播时，用直通估计器（STE）绕过量化函数的不可导点。

说白了，就是让模型在训练时就“知道”自己将来要被量化，提前做好心理准备。

# QAT训练流程
model.train()
model.qconfig = quant.get_default_qat_qconfig('x86')
model_prepared = quant.prepare_qat(model, inplace=False)

for epoch in range(num_epochs):
    for images, labels in train_loader:
        outputs = model_prepared(images)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

# 训练完成后，同样需要校准和转换
model_prepared.eval()
model_quantized = quant.convert(model_prepared)

我记得有一次做棉花虫害检测模型，PTQ之后mAP从0.72掉到了0.65，完全没法用。换成QAT之后，mAP只掉到了0.70，基本可以接受。虽然多花了3天训练时间，但省去了重新设计模型的麻烦。

3.3 知识蒸馏 + 量化：组合拳

这两个技术不冲突，反而可以叠加使用。我常用的流水线是：

第一步：用大模型（老师）蒸馏出一个小模型（学生）
第二步：对学生模型做QAT，得到INT8量化模型

这样组合下来，模型体积能压缩到原来的1/10，推理速度提升4~6倍，精度损失控制在1%以内。

下面这张图，就是整个轻量化流程的完整脉络：

我的建议：不要一上来就追求极致压缩。先做PTQ看看精度损失，如果超过2%，再考虑蒸馏+QAT的组合。农业场景下，精度损失超过1%就可能影响病害判断，宁可模型大一点，也不能误判。

好了，这一节的内容就到这里。知识蒸馏和量化，是模型轻量化里最“软”也最有效的两个手段。它们不像剪枝那样直接砍掉结构，而是通过“知识迁移”和“精度妥协”来换取效率。在农业AI部署中，这两个技术几乎每次都会用到，值得你花时间吃透。