📚 课程目录第3章 AI模型轻量化技术

3. AI模型轻量化技术：量化（INT8/FP16）、剪枝、知识蒸馏在车载场景下的实践

车载芯片的算力，说白了就是「带着镣铐跳舞」。你模型再准，跑不动就是废纸。我这些年踩过的坑，十有八九都跟模型太大、推理太慢有关。今天咱们就聊聊车载场景下最实用的三把刀——量化、剪枝、知识蒸馏。

  核心观点： 车载部署不是追求极致精度，而是在「精度-速度-功耗」三角中找到工程可接受的平衡点。

3.1 为什么车载场景对模型轻量化如此苛刻？

你想想看，座舱芯片要同时跑DMS（驾驶员监控）、OMS（乘客监控）、语音识别、手势识别……一颗Orin或8155的算力就那么多。我见过一个项目，原始模型在服务器上跑得飞起，一上板子直接OOM——显存爆了。

车载场景的硬约束有三条：

实时性： DMS要求30ms内返回结果，慢了驾驶员都打哈欠了
功耗墙： 芯片温度超过85°C就得降频，模型再大也没用
内存带宽： LPDDR5带宽有限，模型参数越多，搬运越慢

所以，轻量化不是可选项，是必选项。

3.2 量化：把浮点数「压缩」成整数

量化是性价比最高的加速手段。说白了，就是把模型里的FP32参数，用INT8或FP16来表示。参数变小了，计算变快了，内存占用也少了。

3.2.1 FP16 vs INT8：怎么选？

对比项	FP16	INT8
精度损失	几乎无损（<0.5%）	有损（1%~3%）
模型体积	缩小50%	缩小75%
推理加速	1.5x~2x	2x~4x
硬件支持	几乎所有芯片原生支持	需要专用加速单元（如Tensor Core、NPU）
适用场景	精度敏感型（如人脸识别）	带宽敏感型（如目标检测）

我的经验： 如果芯片支持INT8的硬件加速（比如NVIDIA的TensorRT、高通SNPE），优先上INT8。我在一个DMS项目中，把FP32模型量化到INT8，推理速度从45ms降到了12ms，精度只掉了1.2%。客户很满意。

3.2.2 量化实战：校准与回退

量化不是简单的类型转换。你需要一个「校准集」——几百张有代表性的图片，让模型统计出每层激活值的分布范围。然后根据这个范围，把浮点数映射到整数。

我踩过一个大坑：校准集选得太偏，全是白天场景。结果模型一遇到夜间低光照，直接崩了。后来我学乖了，校准集必须覆盖所有工况——白天、黑夜、逆光、雨天。

# TensorRT INT8量化示例（伪代码）
import tensorrt as trt

# 1. 构建校准器
calibrator = trt.IInt8EntropyCalibrator2(
    calibration_files=calibration_images,  # 校准集
    batch_size=32,
    cache_file='calibration.cache'         # 缓存，避免重复校准
)

# 2. 构建INT8引擎
builder = trt.Builder(TRT_LOGGER)
network = builder.create_network()
config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.INT8)
config.int8_calibrator = calibrator

# 3. 序列化引擎
engine = builder.build_engine(network, config)
with open('model_int8.engine', 'wb') as f:
    f.write(engine.serialize())

注意： 量化后一定要做逐层精度对比。我曾经遇到一个情况：模型整体精度OK，但某个中间层的输出完全跑偏了。后来发现是那一层的激活值分布太宽，INT8表示不了。解决方案是给这一层单独回退到FP16。

3.3 剪枝：砍掉「不干活」的神经元

剪枝的思路很直接：模型里很多参数对最终结果贡献很小，砍掉它们，模型照样能跑。我习惯把剪枝分成两种：结构化剪枝和非结构化剪枝。

3.3.1 结构化剪枝 vs 非结构化剪枝

类型	做法	优点	缺点
结构化剪枝	整层/整通道砍掉	直接减小模型尺寸，硬件友好	精度损失较大
非结构化剪枝	砍掉单个权重	精度损失小	产生稀疏矩阵，硬件加速难

在车载场景下，我强烈推荐结构化剪枝。为什么？因为非结构化剪枝产生的稀疏矩阵，在GPU/NPU上很难加速。你砍了50%的参数，推理速度可能只提升10%。而结构化剪枝砍掉一个通道，计算量就实打实地少一块。

3.3.2 剪枝流程：训练-剪枝-微调

训练一个大模型（比目标模型大20%~30%）
评估重要性：用L1范数或BN层的gamma值判断每个通道的重要性
剪枝：砍掉重要性最低的通道（比如砍掉30%）
微调：用原始数据重新训练几轮，恢复精度

  避坑指南： 我曾经一次性砍掉50%的通道，结果模型直接废了，微调都救不回来。后来我改成「渐进式剪枝」——每次砍10%，微调，再砍10%。这样精度损失可控，最终砍掉了40%的参数，精度只掉了0.8%。

3.4 知识蒸馏：让「大老师」教「小学生」

知识蒸馏的思路特别有意思：用一个高精度的大模型（Teacher）去指导一个小模型（Student）学习。小模型学到的不是原始标签，而是大模型的「软输出」——也就是概率分布。

为什么软输出更好？因为软输出包含了类别之间的相似性信息。比如一张图片，大模型输出「猫0.9，狗0.08，老虎0.02」。小模型从中学到的是「猫和狗有点像，但和老虎不太像」——这种知识比硬标签（猫=1，其他=0）丰富得多。

3.4.1 蒸馏损失函数

# 知识蒸馏损失计算
import torch.nn.functional as F

def distillation_loss(student_logits, teacher_logits, labels, T=4, alpha=0.7):
    """
    T: 温度系数，越大软输出越平滑
    alpha: 软损失和硬损失的权重
    """
    # 软损失：学生和老师的KL散度
    soft_loss = F.kl_div(
        F.log_softmax(student_logits / T, dim=1),
        F.softmax(teacher_logits / T, dim=1),
        reduction='batchmean'
    ) * (T * T)  # 温度补偿

    # 硬损失：学生和真实标签的交叉熵
    hard_loss = F.cross_entropy(student_logits, labels)

    return alpha * soft_loss + (1 - alpha) * hard_loss

我的调参经验： 温度T一般设在3~8之间。T太低，软输出接近硬标签，蒸馏效果差；T太高，软输出太平滑，小模型学不到区分度。alpha我习惯设0.7，让软损失占主导。

3.5 三把刀怎么组合？

在实际项目中，我很少只用一种技术。通常的组合策略是：

先蒸馏：用大模型蒸馏出一个中等大小的模型
再剪枝：对蒸馏后的模型做结构化剪枝，砍掉冗余通道
最后量化：把剪枝后的模型量化到INT8

这个流程我称之为「三步走」。在一个车载手势识别项目中，我用这个流程把模型从120MB压缩到了18MB，推理速度从80ms降到了15ms，精度只掉了2.1%。

注意顺序： 先量化再剪枝是大忌！量化后的模型参数分布已经变了，剪枝的重要性评估会不准。一定要先剪枝再量化。

3.6 本章知识体系

下面这张图总结了三种轻量化技术的关系和适用场景：

3.7 总结

量化、剪枝、知识蒸馏，这三把刀各有侧重：

量化：见效最快，适合所有模型，但INT8需要硬件支持
剪枝：适合大模型，结构化剪枝对硬件更友好
蒸馏：适合从零开始设计小模型，效果上限高

在实际项目中，我建议你根据芯片能力和精度要求灵活组合。没有银弹，只有最适合你场景的方案。