2、深度学习模型压缩基础：模型压缩的常见方法（剪枝、量化、蒸馏、低秩分解）、压缩比与精度权衡、评估指标

在进入MobileNet Tiny模型的具体剪枝与参数量压缩之前，必须先建立一套完整的模型压缩知识坐标系。模型压缩并非单一技术，而是一组针对不同冗余来源的工程方法论集合。深度神经网络在训练完成后，其参数矩阵中往往存在大量接近零的权重、冗余的通道结构、过高的数值精度以及重复的线性映射，这些冗余为压缩提供了空间。本章将系统梳理四大主流压缩方法（剪枝、量化、蒸馏、低秩分解）的核心原理、适用场景与操作路径，并重点剖析压缩比与精度之间的权衡关系，最后给出评估压缩效果的完整指标体系和一套可复用的评估流程。

上图展示了模型压缩的完整方法论框架：原始模型经过剪枝、量化、蒸馏、低秩分解四条路径（可单独或组合使用）得到压缩后模型，再通过统一的评估指标进行量化分析，最终形成闭环迭代。下面逐一展开各方法的原理与实操要点。

2.1 四大压缩方法的核心原理与操作路径

2.1.1 剪枝（Pruning）

核心原理：剪枝的核心假设是神经网络中存在大量冗余参数，移除这些参数不会对最终输出产生显著影响。剪枝分为非结构化剪枝和结构化剪枝两类。非结构化剪枝直接对单个权重进行置零操作，产生稀疏矩阵，但需要专用硬件或库才能获得实际加速；结构化剪枝则按通道（Channel）、滤波器（Filter）或层（Layer）为单位进行裁剪，直接改变网络结构，在通用硬件上即可获得加速效果。

操作流程：

1. 训练基准模型：先训练一个精度达标的完整模型作为剪枝起点。
2. 重要性评估：计算每个权重或通道的重要性得分，常用方法包括L1/L2范数、BN层缩放因子、泰勒展开近似等。
3. 裁剪与重训：移除低重要性元素，然后在训练集上微调（Fine-tune）以恢复精度。
4. 迭代剪枝：重复步骤2-3，逐步提高剪枝率，直到精度出现不可接受下降。

2.1.2 量化（Quantization）

核心原理：量化将浮点数值映射到低比特整数表示，减少每个权重和激活值的存储位数。典型方案是将FP32（32位浮点）转为INT8（8位整数），理论存储压缩4倍，推理时利用整数运算单元加速。量化分为训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）。

关键参数与流程：

• 对称量化 vs 非对称量化：对称量化将零点固定在0，适合权重分布对称的情况；非对称量化额外记录零点偏移，适合激活值分布偏移的情况。
• 校准数据集：PTQ需要少量无标签数据（约100-500张）统计激活值范围，确定缩放因子。
• QAT流程：在训练过程中模拟量化误差，通过直通估计器（STE）反向传播，使模型适应低比特表示。

# 伪代码示例：PyTorch中PTQ流程
import torch
model = load_mobilenet_tiny()
model.eval()
# 准备校准数据
calib_loader = get_calibration_loader(num_samples=200)
# 配置量化参数
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
torch.quantization.prepare(model, inplace=True)
# 运行校准
with torch.no_grad():
    for data in calib_loader:
        model(data)
# 转换到量化模型
torch.quantization.convert(model, inplace=True)

2.1.3 知识蒸馏（Knowledge Distillation）

核心原理：蒸馏通过一个大型教师网络（Teacher）指导一个小型学生网络（Student）学习。学生网络不仅学习真实标签（Hard Label），还学习教师网络的软输出（Soft Label），即各类别的概率分布。软标签携带了类别间的相似性信息（例如"猫"和"虎"的区分度），帮助学生网络学到更丰富的特征表示。

蒸馏温度与损失函数：

• 温度T：对教师网络输出进行软化，T越大，概率分布越平滑，暴露更多暗知识。
• 总损失：L = α * L_hard + (1-α) * L_soft，其中L_hard为交叉熵损失，L_soft为教师软标签与学生软输出的KL散度。

2.1.4 低秩分解（Low-Rank Factorization）

核心原理：低秩分解将一个大权重矩阵W（形状为m×n）近似分解为两个小矩阵U（m×r）和V（r×n）的乘积，其中r远小于min(m,n)。这样参数量从m×n降为r×(m+n)。常用的分解方法包括SVD（奇异值分解）和CP分解（CANDECOMP/PARAFAC）。

适用场景与限制：

分解方法	适用层类型	压缩效果	注意事项
SVD	全连接层、1×1卷积	参数量减少50%-70%	需要微调恢复精度
CP分解	标准卷积核	可压缩3-5倍	分解算法不稳定，需迭代优化
Tucker分解	卷积核（4D张量）	压缩2-4倍	计算复杂度高

2.2 压缩比与精度权衡

压缩比（Compression Ratio）定义为原始模型参数量与压缩后模型参数量的比值，或原始模型大小与压缩后模型大小的比值。精度权衡则指压缩过程中模型精度（如Top-1准确率）的下降程度。两者构成一条帕累托曲线：压缩比越高，精度损失通常越大，但不同方法在相同压缩比下的精度表现差异显著。

权衡决策框架：

1. 设定精度底线：根据应用场景确定可接受的最大精度损失（例如图像分类任务允许≤1%的Top-1下降）。
2. 选择压缩方法组合：通常先剪枝（去除结构冗余），再量化（降低数值精度），最后微调。蒸馏可作为辅助手段在剪枝后恢复精度。
3. 迭代验证：每步压缩后均在验证集上评估，若精度跌破底线则回退到上一步，调整压缩强度。

2.3 评估指标体系

评估模型压缩效果不能只看参数量，需要多维指标综合衡量。以下是核心评估指标及说明：

指标类别	具体指标	定义/计算方式	重要性
存储指标	参数量（Params）	模型总参数个数	基础指标
存储指标	模型大小（MB）	参数量×每个参数字节数	直接决定存储占用
计算指标	FLOPs	浮点运算次数	反映计算复杂度
计算指标	推理延迟（ms）	单次前向推理时间	实际部署关键
精度指标	Top-1/Top-5准确率	分类任务标准指标	核心质量指标
精度指标	mAP（检测任务）	平均精度均值	目标检测任务
综合指标	压缩比	原始参数量/压缩后参数量	直观反映压缩程度
综合指标	精度损失率	(原始精度-压缩后精度)/原始精度	权衡关键

评估流程建议：

• 基准测试：在相同硬件（如树莓派4B、RK3588）上，使用相同批次大小和输入分辨率，测量原始模型与压缩后模型的延迟和内存峰值。
• 多轮验证：至少进行3次重复实验取平均值，避免硬件波动影响。
• 端到端评估：不仅评估模型本身，还要评估整个推理链路（预处理、后处理）的耗时，因为某些压缩方法可能增加预处理开销。

2.4 常见误区与总结复盘

误区一：压缩比越高越好。实际上，过高的压缩比会导致模型容量不足，在复杂任务上精度急剧下降。建议根据任务难度设定合理的压缩比上限。

误区二：所有方法可以随意叠加。剪枝后再量化通常有效，但低秩分解后再剪枝可能效果不佳，因为分解后的矩阵已经较紧凑，剪枝空间有限。建议按"剪枝→量化→蒸馏微调"的顺序组合。

误区三：忽略硬件适配性。某些压缩方法（如非结构化剪枝）在通用CPU上无法加速，在NPU上可能支持不佳。必须在目标硬件上实测验证。

误区四：只关注参数量，忽略激活值内存。在MobileNet Tiny中，激活值内存可能占总内存的40%以上，量化激活值同样重要。