2、模型压缩基础：深度神经网络中的冗余、压缩方法分类（剪枝、量化、蒸馏、低秩分解）及适用场景

深度神经网络（DNN）在计算机视觉、自然语言处理、语音识别等领域取得了突破性进展，但其动辄数百万乃至数十亿的参数规模，带来了巨大的存储开销、内存带宽压力和计算延迟。以ResNet-50为例，其模型文件约98MB，单次前向推理需要约3.8G FLOPs；而像这类大语言模型，参数量达到1750亿，仅存储权重就需要约350GB的FP16显存。在边缘设备、移动终端、嵌入式系统等资源受限场景中，直接部署原始模型几乎不可行。模型压缩正是为了解决这一矛盾而诞生的技术体系，其核心思想是：在尽量不损失模型精度的前提下，系统性地降低模型的空间复杂度和时间复杂度。本章将深入剖析DNN中的冗余来源，系统梳理四大主流压缩方法（剪枝、量化、知识蒸馏、低秩分解）的原理、分类与适用场景，为后续学习OpenVINO NNCF的具体实现打下坚实的理论基础。

2.1 深度神经网络中的冗余：从何而来，为何存在

理解模型压缩的前提，是认识到DNN中普遍存在大量冗余。这些冗余并非设计缺陷，而是深度网络在表达能力和参数效率之间权衡后的自然产物。从信息论角度看，一个训练良好的网络，其有效信息熵远低于其参数存储所暗示的熵值。具体而言，冗余主要体现在以下四个层面：

• 参数冗余：大量权重值接近零或彼此高度相关。研究表明，在训练完成后，许多神经元的权重分布呈现近似高斯分布，其中大量权重值极小，对最终输出的贡献微乎其微。例如，在VGG-16中，超过60%的权重值小于0.01，将这些权重置零对精度影响极小。
• 计算冗余：网络在推理时对所有输入执行相同的计算图，但实际不同输入样本激活的神经元路径差异很大。对于特定输入，许多通道或神经元并未被有效激活，却仍然参与了全部计算。
• 结构冗余：网络架构设计时往往采用统一的层宽和通道数，但不同层对容量的需求差异显著。深层网络中的某些层可能只需要较少的通道即可达到同等表示能力，而浅层则可能需要更多。
• 表示冗余：权重矩阵的秩往往远低于其维度。这意味着权重矩阵包含大量线性相关的行或列，其本质信息可以用更低维度的子空间表示。

冗余的存在为压缩提供了空间。但需要明确的是，冗余程度与任务、网络架构、训练策略密切相关。一个在ImageNet上训练的ResNet-50可能具有较高的冗余度，而一个在特定医学影像任务上微调过的模型，其冗余度可能相对较低。因此，压缩方案的选择必须基于对具体模型冗余特性的分析，而非盲目套用。

2.2 剪枝（Pruning）：删除冗余连接与结构

剪枝是最直观的压缩方法，其核心思想是移除对模型输出影响较小的权重、神经元或通道，从而得到一个更稀疏、更紧凑的网络。根据剪枝的粒度，可以将其分为三个层次：

剪枝的典型流程包括三个步骤：训练（或使用预训练模型）→ 剪枝（根据重要性准则移除冗余）→ 微调（恢复精度）。重要性准则的选择至关重要，常用的有：权重值（Magnitude）、梯度信息、激活值统计、BN层缩放因子等。其中，基于BN层缩放因子的Network Slimming方法因其简单有效而广泛使用——在训练时对BN层的缩放因子施加L1正则化，使其稀疏化，然后根据缩放因子大小裁剪对应通道。

2.3 量化（Quantization）：降低数值精度

量化是将模型权重和激活值从高精度浮点数（FP32）映射到低精度表示（如INT8、INT4、FP16）的过程。其理论基础在于：神经网络对数值噪声具有一定的鲁棒性，适度的精度损失不会显著影响最终预测结果。量化不仅能减少模型存储空间，更重要的是可以利用硬件对低精度计算的原生加速支持（如Intel AVX-512 VNNI指令集、NVIDIA Tensor Core的INT8计算单元）。

量化方法主要分为两类：

• 训练后量化（Post-Training Quantization, PTQ）：无需重新训练，仅使用少量校准数据确定量化参数（缩放因子和零点）。优点是快速、无需训练资源；缺点是精度损失相对较大，尤其对于激活值分布范围广的模型。
• 量化感知训练（Quantization-Aware Training, QAT）：在训练过程中模拟量化误差，通过直通估计器（STE）反向传播梯度，使模型参数适应量化噪声。QAT通常能获得比PTQ更高的精度，但需要完整的训练流程和更多计算资源。

量化的核心挑战在于如何处理离群值（Outliers）和不对称分布。对于权重，通常采用对称量化（零点为0）；对于激活值，由于ReLU等激活函数的存在，常采用非对称量化。此外，逐通道量化（Per-channel）比逐张量量化（Per-tensor）能保留更多信息，但计算开销也更大。

2.4 知识蒸馏（Knowledge Distillation）：从大模型学习

知识蒸馏是一种“模型迁移”式的压缩方法，其核心思想是训练一个较小的学生模型，使其模仿一个较大的教师模型的输出行为。与直接在小模型上训练相比，蒸馏能让学生模型学习到教师模型“软化”后的概率分布，这些分布包含了类别间的相似性信息（例如，一张猫的图片，教师模型可能输出“猫”0.7、“老虎”0.2、“狗”0.05），这些软标签比硬标签（one-hot）携带更丰富的监督信号。

蒸馏的典型损失函数为：

L = α * L_hard(y_student, y_true) + (1-α) * L_soft(y_student, y_teacher / T, y_teacher / T)

其中，T为温度参数，用于控制软标签的平滑程度；α为平衡系数。温度越高，软标签的分布越平滑，学生模型能学到更多类别间的潜在关系。

蒸馏的适用场景包括：

• 当目标硬件无法承载大模型时，用蒸馏将大模型（如BERT-large）压缩为小模型（如TinyBERT）。
• 当训练数据有限或标注成本高时，利用教师模型在无标注数据上生成伪标签进行蒸馏。
• 在集成学习中，将多个模型的集成知识蒸馏到单一模型中，兼顾精度与效率。

2.5 低秩分解（Low-Rank Factorization）：矩阵近似

低秩分解基于线性代数中的矩阵分解理论，将高维权重矩阵近似表示为若干低维矩阵的乘积。对于一个形状为 m×n 的权重矩阵 W，如果其秩为 r（r << min(m,n)），则可以分解为 W ≈ U·V，其中 U 为 m×r 矩阵，V 为 r×n 矩阵。这样，参数量从 m×n 减少为 r×(m+n)，当 r 远小于 m 和 n 时，压缩效果显著。

常用的低秩分解方法包括：

• SVD（奇异值分解）：适用于全连接层和嵌入层。将权重矩阵分解为 U·Σ·V^T，保留前k个最大奇异值对应的分量。
• CP分解（CANDECOMP/PARAFAC）：适用于卷积核张量。将4D卷积核分解为多个低维张量的外积之和。
• Tucker分解：高阶张量的核心分解方法，能同时压缩卷积核的多个维度。

低秩分解的局限性在于：分解后的模型需要重新训练以恢复精度，且分解操作本身可能引入额外的计算开销。此外，现代网络架构（如ResNet的残差连接）对低秩分解的容忍度较低，因为残差连接要求输入输出维度匹配，分解后需要额外的维度对齐操作。

2.6 方法对比与选择策略

面对四种压缩方法，如何选择最合适的方案？下表从多个维度进行了对比：

在实际工程中，这四种方法并非互斥，而是可以组合使用。例如，OpenVINO NNCF的典型压缩流程是：先进行QAT（量化感知训练），在训练过程中同时应用结构化剪枝，最后对剪枝后的模型进行PTQ微调。这种组合策略往往能获得比单一方法更好的压缩效果。