📚 课程目录第3章模型压缩技术全景

3、模型压缩技术全景：梳理剪枝、量化、蒸馏、低秩分解、神经架构搜索等主流压缩方法及其适用场景

在Edge AI的实际部署中，模型压缩并非单一技术的应用，而是一套组合拳。不同压缩方法作用于模型的不同维度——有的削减参数数量，有的降低数值精度，有的重构计算图，有的直接搜索更高效的架构。理解这些技术的底层原理、操作路径与适用边界，是进行精度、延迟与体积联合判断的前提。本章将系统梳理五类主流压缩技术，并给出选型决策框架。

3.1 剪枝（Pruning）：从冗余中剔除不重要连接

核心原理：剪枝的核心假设是神经网络中存在大量冗余参数，去除这些参数不会显著影响模型表达能力。根据剪枝粒度，可分为非结构化剪枝（对单个权重或神经元操作）与结构化剪枝（对通道、滤波器或层操作）。非结构化剪枝稀疏度高但依赖专用硬件加速，结构化剪枝则直接减少计算量，更适合通用Edge芯片。

操作流程：

训练基准模型：确保模型在原始数据集上达到目标精度（如Top-1 ≥ 70%）。
重要性评估：常用L1/L2范数、Taylor展开、BN层缩放因子作为通道重要性指标。
迭代剪枝-微调：每次剪掉10%-20%的低重要性通道，然后微调恢复精度，重复多轮。
最终微调与验证：在验证集上确认精度损失在可接受范围（通常<1%）。

剪枝类型	粒度	硬件加速	典型压缩率	适用场景
非结构化剪枝	单个权重	需稀疏计算库	5x-10x	研究验证、专用NPU
结构化剪枝（通道）	卷积通道	通用CPU/GPU	2x-4x	Edge端侧部署
结构化剪枝（滤波器）	整个滤波器	通用硬件	2x-3x	CNN主干网络

实战经验：在MobileNetV3上做通道剪枝时，建议优先剪枝深度可分离卷积的逐点卷积（1x1），因为其参数量占比最大且冗余度较高。同时注意，剪枝后BN层的统计量需要重新校准，否则精度会骤降。

3.2 量化（Quantization）：用低比特换高吞吐

核心原理：量化将浮点权重和激活从FP32映射到低比特整数（INT8、INT4甚至INT1）。其数学本质是最小化量化误差：Q(r) = round(r/S) + Z，其中S为缩放因子，Z为零点偏移。量化分为训练后量化（PTQ）和量化感知训练（QAT）。PTQ无需重新训练，但精度损失较大；QAT在训练中模拟量化误差，精度更优。

关键决策点：

对称vs非对称：对称量化适合权重分布近似零中心的层；非对称量化适合ReLU后的激活值（全非负）。
逐层vs逐通道：逐通道量化精度更高，但硬件支持有限；逐层量化实现简单，适合CPU部署。
混合精度：敏感层保留FP16，非敏感层用INT8，可平衡精度与速度。

# PyTorch PTQ 示例（伪代码）
model.fuse_model()  # 融合Conv+BN+ReLU
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
torch.quantization.prepare(model, inplace=True)
calibrate(model, calib_loader)  # 用100-500张校准图
torch.quantization.convert(model, inplace=True)

风险提示：INT8量化对激活值范围非常敏感。若校准集分布与真实部署数据差异较大，可能导致量化后精度暴跌。建议校准集覆盖部署场景的典型输入分布，并监控每层激活的min/max范围。

3.3 知识蒸馏（Knowledge Distillation）：大模型教小模型

核心原理：蒸馏通过让轻量学生模型模仿教师模型（大模型或集成模型）的软标签输出，从而迁移暗知识。软标签包含类别间的相似性信息（如"猫"与"老虎"的logits距离），比硬标签（one-hot）信息量更丰富。温度参数T控制软标签的平滑程度：p_i = exp(z_i/T) / Σ_j exp(z_j/T)。

蒸馏变体与适用场景：

蒸馏类型	教师信号	适用场景	典型收益
Logits蒸馏	教师输出概率	分类任务	小模型提升2%-5%
特征蒸馏	中间层特征图	检测/分割	保留空间细节
自蒸馏	自身深层输出	无额外大模型	稳定训练

  案例拆解：某智能门锁厂商需要在成本敏感的MCU（Cortex-M7）上部署人脸检测模型。原始YOLOv5s（7.2M参数）无法满足实时性要求。方案：使用YOLOv5x（86.7M参数）作为教师，蒸馏到YOLOv5n（1.9M参数）。关键操作：① 教师模型在WIDER Face数据集上微调至mAP 0.82；② 蒸馏损失采用 L = α * L_hard + β * L_soft，其中α=0.7，β=0.3，温度T=4；③ 额外加入特征蒸馏损失（在P3/P4特征层）。结果：学生模型mAP 0.76（仅下降6%），但推理延迟从120ms降至28ms，模型体积从14MB降至3.8MB，满足端侧要求。

3.4 低秩分解（Low-Rank Factorization）：矩阵分解压缩计算

核心原理：将权重矩阵W（m×n）近似分解为两个低秩矩阵U（m×r）和V（r×n），其中r << min(m,n)。这样参数量从m×n降至r×(m+n)，计算量也相应减少。常用方法包括SVD分解、CP分解和Tucker分解。对于卷积层，可将4D权重张量重塑为2D矩阵后分解。

操作流程：

选择分解层：优先分解全连接层和1x1卷积（参数量占比高）。
确定秩r：通过SVD奇异值谱分析，保留前r个奇异值（能量占比≥95%）。
分解与重构：用SVD得到U、V矩阵，替换原权重。
微调恢复：分解后精度通常下降1%-3%，需微调几个epoch恢复。

经验提醒：低秩分解对模型精度的影响与层位置相关。浅层特征提取层对分解敏感，深层语义层相对鲁棒。建议先对深层做分解，验证精度后再逐步向浅层推进。此外，分解后的模型结构变化可能影响后续量化或剪枝的兼容性，需整体规划压缩流水线。

3.5 神经架构搜索（NAS）：让算法设计高效结构

核心原理：NAS通过搜索算法（强化学习、进化算法或梯度优化）在预定义搜索空间中寻找最优网络结构。搜索空间包括：卷积类型（标准/深度可分离/分组）、通道数、连接方式（残差/密集）、算子组合等。近年来，可微NAS（如DARTS）将离散搜索松弛为连续优化，大幅降低搜索成本。

Edge场景下的NAS实践：

硬件感知NAS：将目标硬件的延迟、能耗作为奖励函数的一部分，搜索出的模型天然适配部署平台。
约束条件：设置FLOPs上限、参数量上限、延迟上限，在约束内最大化精度。
搜索成本控制：使用代理任务（小数据集、小分辨率）预搜索，再迁移到目标任务。

常见误区：NAS并非万能。搜索出的模型结构可能包含硬件不友好的算子（如自定义激活函数），导致实际部署时无法利用底层优化库。建议在搜索空间中仅包含目标硬件已支持的算子集合，并在搜索后做一次算子融合检查。

3.6 技术选型决策框架与组合策略

实际Edge AI项目中，单一压缩技术往往难以满足严苛的部署要求。推荐采用"先结构化、后数值化"的组合策略：

压缩阶段	推荐技术	目标	典型压缩率
第一阶段	结构化剪枝 + 低秩分解	减少参数量与FLOPs	2x-4x
第二阶段	知识蒸馏	恢复剪枝/分解后的精度	精度+2%-5%
第三阶段	量化（PTQ/QAT）	降低数值精度与内存带宽	3x-4x（FP32→INT8）
可选阶段	NAS（从头搜索）	替代手工设计，直接生成高效结构	4x-8x（vs 手工设计）

选型决策要点：

硬件约束优先：先确认目标芯片支持的算子与数据类型（如是否支持INT8 SIMD指令、稀疏计算单元）。
精度敏感度评估：对模型做逐层敏感性分析（如逐层量化误差），找出精度瓶颈层，针对性保留高精度。
工程成本考量：PTQ只需几小时，QAT需要重新训练，NAS可能需要数天GPU资源。根据项目周期选择合适技术。
端到端验证：压缩后的模型必须在目标硬件上做端到端基准测试，不能仅看参数量或FLOPs理论值。

  完整案例复盘：某工业视觉检测项目需在Jetson Nano上部署缺陷检测模型（输入512x512，要求延迟<50ms，精度mAP≥0.85）。初始模型为EfficientDet-D2（8.1M参数，FP32推理延迟180ms）。压缩流水线：① 通道剪枝：对BiFPN层和Head层剪枝30%通道，参数量降至5.2M，延迟降至120ms，mAP从0.88降至0.86；② 知识蒸馏：用未剪枝的D2作为教师，蒸馏剪枝后模型，mAP恢复至0.87；③ INT8量化：使用500张现场图像校准，量化后延迟降至45ms，mAP 0.86（损失1%）。最终模型体积从32MB降至8MB，满足部署要求。复盘要点：剪枝阶段损失最小的是Head层，最大的是Backbone的浅层；量化时发现第3个BiFPN层的激活范围异常大，通过per-channel量化解决。

总结与复盘：模型压缩技术没有银弹，每种方法都有其适用边界。剪枝适合冗余度高的CNN主干，量化对带宽瓶颈型模型效果显著，蒸馏适合有强教师模型的场景，低秩分解对全连接层密集的模型有效，NAS则适合从零设计新模型。在Edge AI实践中，建议建立"压缩-评估-再压缩"的迭代闭环，每次压缩后都从精度、延迟、体积三个维度联合评估，确保最终部署模型在目标硬件上达到最优平衡。