📚 课程目录第2章 Edge AI压缩基础

2、Edge AI压缩基础：常见压缩技术（量化、剪枝、蒸馏、低秩分解）的原理、适用场景与典型收益预期

Edge AI 部署的核心矛盾在于：模型精度要求高，而终端设备的算力、内存、带宽和功耗都极其有限。压缩技术正是为了在尽可能不损失精度的前提下，让模型“瘦身”到可以在边缘设备上实时运行。本章将系统拆解四种主流压缩技术——量化、剪枝、知识蒸馏、低秩分解——的原理、适用场景与收益预期，为后续排查“精度崩溃、层不兼容、收益不足”三大问题打下基础。

2.1 量化：用更少的比特表达权重与激活

核心原理：量化是将模型中的浮点参数（FP32）映射到低比特整数（如 INT8、INT4）的过程。神经网络在训练时对噪声有较强的鲁棒性，因此权重和激活值可以在一定精度损失下被压缩。量化的数学本质是：Q(x) = round(x / scale) + zero_point，其中 scale 和 zero_point 是量化参数，通过校准数据集统计得到。常见的量化方式包括：训练后量化（PTQ）和量化感知训练（QAT）。PTQ 无需重新训练，但精度损失较大；QAT 在训练过程中模拟量化误差，精度保持更好。

判断方法与操作流程：选择量化方案时，首先评估模型对精度损失的敏感度。对于分类任务，PTQ 通常足够；对于检测、分割等密集预测任务，建议使用 QAT。操作流程为：① 准备 500-1000 张代表性校准图片；② 使用推理框架（如 TensorRT、ONNX Runtime、TFLite）执行 PTQ；③ 评估量化后模型在验证集上的精度；④ 若精度下降超过 1%，切换至 QAT 或混合精度量化（保留敏感层为 FP16）。

量化类型	精度损失	推理加速	部署难度	适用场景
PTQ (INT8)	0.5% - 2%	2-4x	低	分类、语音识别
QAT (INT8)	0.1% - 0.5%	2-4x	中	检测、分割
INT4/混合精度	1% - 5%	4-6x	高	极端内存受限场景

实战经验：在瑞芯微 RK3588 上部署 YOLOv5s 时，PTQ 后 mAP 从 0.72 降至 0.68，改用 QAT 后恢复至 0.71。关键在于对检测头（Head）部分保留 FP16，仅对 Backbone 做 INT8 量化。

常见误区：不要盲目追求 INT4 量化。INT4 在 ARM CPU 上通常无法获得实际加速，因为硬件没有原生 INT4 指令支持，反而会因反量化操作增加延迟。

2.2 剪枝：剔除冗余参数与通道

核心原理：剪枝基于一个观察——神经网络中存在大量冗余参数，其值接近零或对最终输出贡献极小。剪枝分为非结构化剪枝（移除单个权重）和结构化剪枝（移除整个通道、滤波器或层）。非结构化剪枝压缩率高但需要特殊硬件支持；结构化剪枝直接减少计算量，对硬件友好。剪枝的典型流程是“训练-剪枝-微调”循环：先训练大模型，再按重要性评分（如 L1 范数、BN 层缩放因子）剪除冗余部分，最后微调恢复精度。

判断方法与操作流程：判断一个层是否适合剪枝，可以观察其权重分布。若权重集中在零附近且方差小，说明该层冗余度高。操作流程：① 训练基线模型；② 对每个通道计算重要性得分（常用 BN 层的 gamma 值）；③ 设定剪枝率（如 30%），剪除得分最低的通道；④ 微调 10-20 个 epoch；⑤ 重复迭代直至精度与体积达到平衡。

案例拆解：MobileNetV2 在树莓派上的通道剪枝

背景：在树莓派 4B 上部署 MobileNetV2 做图像分类，推理延迟 85ms，目标 50ms。

初始现象：模型体积 14MB，FLOPs 3.4G，内存占用 120MB。

分析：通过 BN 层 gamma 值统计发现，最后 20% 的通道 gamma 值小于 0.01，贡献极低。

操作：按 30% 比例剪除低 gamma 通道，微调 15 个 epoch。

结果：FLOPs 降至 2.1G（↓38%），延迟降至 52ms，精度从 88.2% 降至 87.1%（↓1.1%）。

风险与代价：剪枝后模型对噪声更敏感，需在微调时加入数据增强。

复盘：结构化剪枝对硬件加速效果显著，但需注意剪枝后的模型宽度变化可能导致内存访问不连续。

2.3 知识蒸馏：大模型“教”小模型

核心原理：知识蒸馏（KD）通过让一个小模型（Student）模仿大模型（Teacher）的输出分布来学习。Teacher 的软标签（Soft Label）包含了类别间的相似性信息（如“猫”和“狗”的置信度分布），比硬标签（Hard Label）提供更丰富的监督信号。蒸馏损失函数通常为：L = α * L_hard + (1-α) * L_soft，其中 L_soft 使用温度参数 T 软化 Teacher 的输出概率。温度 T 越高，分布越平滑，小模型能学到更多暗知识。

判断方法与操作流程：蒸馏适用于有预训练大模型且任务相对单一的场景。操作流程：① 训练或获取 Teacher 模型；② 设计 Student 模型（通常为 Teacher 的 1/5 到 1/10 参数量）；③ 用 Teacher 的软标签 + 真实硬标签联合训练 Student；④ 调整温度 T（常用 3-7）和损失权重 α（常用 0.7）；⑤ 评估 Student 的精度与推理速度。

实战经验：在语音唤醒词检测中，用 50M 参数的 Teacher 蒸馏出 2M 参数的 Student，精度仅下降 0.3%，但内存占用从 200MB 降至 8MB，可在 MCU 上实时运行。关键技巧是让 Teacher 和 Student 的输入特征对齐，必要时加入特征蒸馏损失。

常见误区：蒸馏不是万能的。如果 Teacher 本身精度不高（如 <90%），蒸馏后 Student 的精度上限会被 Teacher 限制。此外，蒸馏需要较多训练数据，数据不足时效果不佳。

2.4 低秩分解：矩阵分解压缩参数

核心原理：低秩分解基于矩阵秩的数学性质——一个高维权重矩阵 W（m×n）可以近似分解为两个低秩矩阵 U（m×k）和 V（k×n）的乘积，其中 k 远小于 m 和 n。这样参数量从 m×n 降至 k×(m+n)。对于全连接层和嵌入层，低秩分解效果显著；对于卷积层，则需将卷积核 reshape 为二维矩阵后再分解。常见的分解方法包括 SVD（奇异值分解）和 CP 分解。

判断方法与操作流程：低秩分解适用于参数量大但信息冗余的层。判断依据：对权重矩阵做 SVD，若奇异值衰减迅速（前 10% 的奇异值贡献了 90% 的能量），则适合低秩分解。操作流程：① 对目标层权重做 SVD；② 根据能量保留比例（如 95%）确定秩 k；③ 用 U 和 V 替换原权重；④ 微调模型恢复精度。

技术	压缩比	精度影响	硬件加速	实现复杂度
SVD 分解	3-5x	低 (0.5-1%)	需自定义层	中
CP 分解	5-10x	中 (1-3%)	需自定义层	高
Tucker 分解	4-8x	中低	需自定义层	高

场景化说明：在自然语言处理模型中，嵌入层（Embedding）通常占据大量参数。一个 100K 词汇表、300 维的嵌入矩阵有 30M 参数。通过 SVD 分解为 100K×64 和 64×300 两个矩阵，参数量降至 6.4M+19.2K≈6.4M，压缩近 5 倍，而语义表达能力几乎不变。

2.5 技术对比与组合策略

四种技术并非互斥，实际工程中常组合使用。典型的组合策略是：先剪枝（减少冗余通道）→ 再量化（降低比特宽度）→ 最后蒸馏（恢复精度）。低秩分解通常用于全连接层较多的模型（如 Transformer），而 CNN 模型更适合剪枝+量化。选择依据包括：目标硬件（CPU/GPU/NPU）、模型结构（CNN/Transformer）、精度要求（分类/检测/分割）以及开发周期。

关键提醒：压缩技术的收益预期必须结合硬件实测。例如，INT8 量化在 GPU 上可能只有 1.5 倍加速，但在支持 INT8 的 NPU 上可达 3-4 倍。剪枝在稀疏度低于 50% 时，在通用 CPU 上几乎无加速效果，因为硬件无法利用稀疏性。

总结复盘：量化是最通用、最易落地的压缩技术，但需警惕精度崩溃；剪枝适合 CNN 结构，但需微调恢复；蒸馏适合有强 Teacher 的场景，但训练成本高；低秩分解适合全连接层，但实现复杂。在实际项目中，建议先用 PTQ 快速评估收益，若精度不达标再叠加 QAT 或剪枝，最后考虑蒸馏。每种技术都有其“甜蜜区”，理解原理和适用边界是避免“收益不足”问题的第一步。