📚 课程目录第3章模型压缩概览

3、模型压缩概览：量化、剪枝、蒸馏、低秩分解等主流技术对比、压缩率与精度权衡、选择策略

TinyML 的落地困境往往不在算法设计，而在物理约束：Flash 可能只有 256KB，RAM 只有 64KB，峰值算力不足 1 GOPS。当模型在开发板上无法运行或推理延迟超标时，压缩不再是可选项，而是必选项。但压缩并非单一手段，量化、剪枝、蒸馏、低秩分解各有其数学原理、硬件适配性和精度代价。本章从工程决策视角出发，系统对比主流压缩技术的本质差异，给出压缩率与精度的量化权衡方法，并提炼一套可复用的技术选型策略。

上图展示了模型压缩的完整决策链路：原始模型经过四种主流技术处理后，需从压缩率、精度、延迟、内存和硬件适配五个维度综合评估，最终输出组合策略。实际工程中，单一技术往往难以满足极端资源约束，组合使用才是常态。以下逐一剖析各技术的核心原理与适用边界。

3.1 量化：以数值精度换存储与算力

核心原理

量化将连续浮点数值映射到离散整数集合，核心是确定缩放因子（scale）和零点（zero point）。以对称量化为例，FP32 数值 r 与 INT8 数值 q 的转换关系为：

q = clamp(round(r / scale), -128, 127)
scale = max_abs(r) / 127

非对称量化额外引入零点偏移，适用于激活值分布偏置的场景。量化粒度从粗到细分为：逐张量（per-tensor）、逐通道（per-channel）、逐组（per-group）。粒度越细，精度损失越小，但计算开销和存储索引成本越高。

判断方法与操作流程

PTQ（训练后量化）：无需重新训练，仅需少量校准数据统计激活值范围。适合快速部署，但大模型或异常分布场景下精度损失可能超过 2%。
QAT（量化感知训练）：在训练过程中模拟量化误差，通过直通估计器（STE）反向传播。精度恢复能力强，但训练成本增加 30%-50%。
混合精度量化：对敏感层保留 FP16 或 INT16，对非敏感层使用 INT8/INT4。需通过逐层敏感性分析确定精度分配。

案例拆解：CIFAR-10 图像分类模型量化

某智能相机项目使用 ResNet-8 模型（参数量 78K，FP32 大小 312KB），目标部署到 256KB Flash 的 MCU。初始 PTQ 量化后模型大小降至 78KB，但精度从 91.2% 降至 87.6%，损失 3.6 个百分点。分析发现第一层卷积和最后的全连接层对量化最敏感。改用混合精度方案：第一层保持 FP16，全连接层使用 INT16，其余层 INT8。最终模型大小 92KB，精度恢复至 90.1%，满足部署要求。关键经验：量化敏感性分析应优先检查输入层和输出层，这两处往往是精度瓶颈。

风险提示：INT4 量化在 MCU 上可能缺乏原生指令支持，导致反量化开销抵消存储收益。部署前务必确认目标芯片的 SIMD 指令集是否包含 INT8/INT16 乘法累加操作。

3.2 剪枝：移除冗余连接与通道

核心原理

剪枝基于神经网络过度参数化的特性，移除对输出影响较小的权重或结构。非结构化剪枝生成稀疏矩阵，需专用硬件或库支持；结构化剪枝（通道剪枝、滤波器剪枝）直接删除整个通道，无需特殊硬件即可获得实际加速。

判断方法与操作流程

敏感性分析：逐层剪枝不同比例，绘制精度-剪枝率曲线，识别冗余度高的层。
准则选择：L1/L2 范数（权重绝对值小者优先剪）、BN 层缩放因子（γ 值小者优先剪）、泰勒展开（对损失影响小者优先剪）。
迭代剪枝-微调：每次剪枝 10%-20%，微调 5-10 个 epoch 恢复精度，重复直至满足目标。

实战场景：语音唤醒词检测

一个基于 DS-CNN 的唤醒词模型（参数量 230K）部署在 Cortex-M7 上，推理延迟 85ms，超出实时要求（50ms）。采用 BN 因子剪枝，初始剪枝率 30% 时精度仅下降 0.5%，延迟降至 62ms；继续剪至 50% 时精度下降 2.1%，延迟 48ms。最终选择 45% 剪枝率，延迟 51ms，精度损失 1.2%。剪枝并非越多越好，存在精度悬崖效应——当剪枝率超过某阈值后，精度会断崖式下跌。

经验提醒：结构化剪枝后需重新训练 BN 层统计量，否则 BatchNorm 的均值和方差与剪枝后的激活分布不匹配，导致精度异常。

3.3 知识蒸馏：让小模型学习大模型的软知识

核心原理

蒸馏通过教师模型（大模型）的软标签（soft label）指导学生模型（小模型）训练。软标签包含类别间相似性信息，比硬标签（one-hot）信息量更丰富。损失函数通常为：

L = α * L_hard(y_true, y_student) + (1-α) * L_soft(y_teacher, y_student)

其中 L_soft 使用温度 T 平滑后的 KL 散度，T 越大，分布越平滑，类别间关系越清晰。

判断方法与操作流程

教师选择：教师模型精度需显著高于学生（至少 5% 以上），否则蒸馏收益有限。
温度调节：T 通常取 3-10，需通过验证集调优。T 过小退化为硬标签学习，T 过大则噪声过多。
特征蒸馏：除输出层外，可对齐中间层特征图（如 FitNets、AT 方法），适合学生模型结构差异较大的场景。

案例拆解：关键词识别（KWS）模型压缩

原始教师模型为 ResNet-15（参数量 1.2M，精度 96.8%），需压缩至 100KB 以内。直接训练 MobileNetV2-0.25（参数量 80K）精度仅 91.5%。采用蒸馏方案：教师输出软标签（T=5），学生结构不变，损失权重 α=0.7。训练 50 个 epoch 后学生精度提升至 94.2%，接近教师水平。蒸馏的核心价值在于：它不改变学生模型结构，而是通过更好的训练信号提升小模型上限。

组合策略：蒸馏常与剪枝、量化联合使用。典型流程为：先用大模型蒸馏出中等模型，再对中等模型剪枝，最后量化。三步叠加可获得 20-40 倍压缩比，精度损失控制在 3% 以内。

3.4 低秩分解：矩阵分解降低计算复杂度

核心原理

将权重矩阵 W（m×n）近似分解为两个低秩矩阵 U（m×r）和 V（r×n），其中 r << min(m,n)。SVD 分解是最常用方法：

W ≈ U_r · Σ_r · V_r^T

计算量从 O(m×n) 降至 O(r×(m+n))。对于全连接层和 1×1 卷积效果显著，但对 3×3 卷积的加速有限，因为卷积核本身已是低秩结构。

判断方法与操作流程

层选择：优先分解全连接层和 1×1 卷积层，这些层参数量占比高且冗余度大。
秩选择：通过奇异值能量比确定 r，通常保留 90%-95% 能量：

energy_ratio = sum(σ_1..σ_r) / sum(σ_1..σ_n) ≥ 0.9

微调恢复：分解后需微调 3-5 个 epoch 恢复精度，因为分解引入了近似误差。

实战场景：端侧人脸识别嵌入层压缩

一个 FaceNet 风格模型的嵌入层权重为 512×512，参数量 262K。SVD 分解后 r=64，参数量降至 65K（压缩 75%），精度（LFW 数据集）从 99.1% 降至 98.7%，损失 0.4%。进一步将 r 降至 32，参数量 33K，精度降至 97.8%。低秩分解的精度-压缩率曲线通常呈线性下降，不像剪枝那样存在悬崖效应，更适合需要可预测精度损失的应用。

3.5 主流技术对比与选择策略

技术	压缩率范围	精度损失	硬件适配	实现复杂度	适用场景
量化（INT8）	3-4 倍	0.5%-2%	需 INT8 指令集	低（PTQ）	绝大多数 MCU 部署
剪枝（结构化）	2-5 倍	1%-3%	通用	中	CNN 卷积层冗余
知识蒸馏	不直接压缩	提升精度	通用	中高	小模型精度不足
低秩分解	2-4 倍	0.5%-1.5%	通用	中	全连接层/1×1 卷积

选择策略决策树

第一步：评估硬件约束。若芯片支持 INT8 SIMD，优先量化；若不支持，考虑剪枝+低秩分解。
第二步：分析模型结构。CNN 主干用剪枝，全连接层用低秩分解，两者可并行。
第三步：检查精度余量。若当前精度高于目标 3% 以上，可激进压缩；若仅高 1%，需谨慎组合。
第四步：考虑训练资源。有 GPU 训练条件时，优先 QAT+蒸馏；仅能离线推理时，选 PTQ+剪枝。

常见误区：① 认为压缩率越高越好，忽略精度悬崖效应；② 只压缩不微调，导致精度损失被放大；③ 忽视硬件特性，例如某些 NPU 对非 4 的倍数通道数支持不佳；④ 蒸馏时温度设置不当，导致学生模型学到噪声。

总结复盘

模型压缩的本质是在信息冗余与硬件约束之间寻找最优平衡点。量化是最普适的入门技术，剪枝适合 CNN 结构，蒸馏是提升小模型上限的利器，低秩分解则针对特定层类型。实际工程中，建议采用"先剪枝（去除结构冗余）→再量化（降低数值精度）→必要时蒸馏（恢复精度）→低秩分解兜底（处理剩余大层）"的组合路径。每一步都需用验证集监控精度变化，并记录压缩率、延迟、内存等指标，形成可复用的压缩基线。记住：压缩不是一次性任务，而是伴随模型迭代的持续优化过程。