2、深度学习模型基础：神经网络架构、训练流程、权重与激活值分布特性

在进入模型量化、剪枝与蒸馏的具体操作之前，必须首先建立对深度学习模型底层运行机制的清晰认知。量化与剪枝本质上是对模型权重和激活值的数据分布进行重新编码与稀疏化处理，而蒸馏则是对模型输出的概率分布进行迁移。如果对神经网络的基本架构、训练动态以及张量分布特性缺乏定量理解，后续的压缩优化将如同盲人摸象。本章将系统梳理神经网络的核心组成、训练流程中的关键阶段，并重点剖析权重与激活值在训练前后的统计分布规律——这些规律直接决定了量化方案中零点、缩放因子的选取，以及剪枝阈值设定的合理性。

2.1 神经网络架构核心组件与张量维度语义

理解模型压缩的前提，是能够准确说出每一层张量的形状、数值范围以及它们在内存中的排布方式。以计算机视觉中最常用的卷积神经网络（CNN）为例，一个典型的基础块由卷积层（Conv）、批归一化层（BatchNorm）、激活函数（ReLU）和池化层（Pooling）组成。卷积层的权重张量形状为 [C_out, C_in, K_h, K_w]，其中 C_out 是输出通道数，C_in 是输入通道数，K_h 和 K_w 是卷积核尺寸。这个四维张量在内存中按行优先存储，但不同框架（PyTorch 与 TensorFlow）的通道顺序（NCHW vs NHWC）会影响量化时对张量布局的遍历效率。

激活值张量的形状通常为 [N, C, H, W]，其中 N 为批大小。在量化推理时，激活值需要实时统计动态范围，因此其分布特性比权重更复杂。全连接层的权重是二维矩阵 [C_in, C_out]，而 Transformer 架构中的注意力机制则涉及 Q/K/V 三个权重矩阵，其形状为 [C_in, C_out]，且存在多头分块（Head Split）操作。对于量化而言，权重张量的分布相对稳定，而激活值张量会随输入数据的变化而波动，这导致激活值量化通常需要校准数据集（Calibration Dataset）来统计 min/max 或百分位数。

2.2 训练流程中的分布演化：从初始化到收敛

神经网络的训练过程本质上是权重分布从随机初始化状态逐步演化为具有特定统计特征的过程。在训练初期（Epoch 0-2），权重通常服从均值为 0、标准差为 0.05 或 0.01 的高斯分布（取决于初始化策略如 Kaiming Init 或 Xavier Init）。此时激活值的分布也相对集中，但随着训练的进行，损失函数通过反向传播不断调整权重，权重分布会逐渐展宽，标准差增大，且可能出现明显的离群值（Outliers）。

训练过程中的梯度分布同样值得关注。在深层网络中，梯度往往呈现稀疏性——大量梯度值接近零，只有少数梯度具有较大幅度。这种稀疏性为梯度剪枝提供了理论依据，但更重要的影响在于：梯度消失或梯度爆炸会导致底层权重分布异常，进而影响量化时的动态范围。例如，若某一层的权重标准差从 0.05 增长到 0.5，那么 INT8 量化时缩放因子 scale = (max - min) / 255 会增大 10 倍，导致量化分辨率下降，精度损失加剧。

学习率调度策略（Learning Rate Schedule）对最终权重分布有决定性影响。使用余弦退火（Cosine Annealing）训练的模型，其权重分布通常比使用固定学习率训练的模型更紧凑，因为后期较小的学习率使得权重更新幅度变小，分布趋于稳定。这一特性对量化友好——分布越集中，量化误差越小。因此，在部署前进行量化感知训练（QAT）时，建议使用带 warmup 的余弦退火策略，并在最后 10% 的 epoch 冻结 BN 统计量，以获得更平滑的权重分布。

# 训练阶段权重分布监控示例（PyTorch 风格伪代码）
def log_weight_stats(model, epoch):
    for name, param in model.named_parameters():
        if param.dim() >= 2:  # 只监控权重矩阵
            w = param.data.cpu().numpy().flatten()
            print(f"Epoch {epoch} | {name} | mean={w.mean():.4f} | std={w.std():.4f} | "
                  f"min={w.min():.4f} | max={w.max():.4f} | "
                  f"p99.9={np.percentile(w, 99.9):.4f}")
            # 记录 p99.9 与 max 的比值，若比值 > 3 则存在明显离群点

2.3 权重与激活值分布特性：量化与剪枝的决策依据

权重分布通常近似于零均值的高斯分布或拉普拉斯分布，但实际训练后的权重往往呈现出“中间集中、两端拖尾”的特征。以 ResNet-50 为例，其卷积层权重的标准差通常在 0.01 到 0.1 之间，而最大值可能达到标准差的 5-10 倍。这种离群值对量化极不友好——如果直接使用 min/max 作为量化范围，离群点会拉大缩放因子，使得大部分权重落入极少的量化区间，导致有效精度严重下降。因此，实际工程中常采用百分位截断法：统计权重分布的 99.99% 分位数作为量化上限，将极端离群值直接截断。

激活值分布则更为复杂。经过 ReLU 激活后，激活值全部为非负，分布呈现明显的右偏（长尾）特征。在 Transformer 架构中，GELU 激活函数的输出分布近似于正态分布的累积分布函数（CDF），其尾部比 ReLU 更平滑。对于激活值量化，需要区分静态量化与动态量化：静态量化使用校准集统计固定范围，动态量化则逐层实时计算 min/max。动态量化精度更高但计算开销大，通常只在 LSTM 或特定层中使用。

2.4 案例拆解：ResNet-18 的分布分析与量化方案选择

我们以一个实际部署案例来串联上述概念。假设需要将 ResNet-18 模型部署到边缘设备（如 Jetson Nano），目标是将模型从 FP32 压缩到 INT8，同时保证 Top-1 精度损失不超过 1%。

初始现象：直接使用 PyTorch 的 torch.quantization.quantize_dynamic 进行动态量化后，模型精度从 69.8% 下降到 63.2%，损失高达 6.6%，远超目标。通过逐层分析发现，问题集中在第一个卷积层和最后一个全连接层。

分析过程：我们提取了各层权重与激活值的分布统计量。第一个卷积层的输入是 RGB 图像（0-255 范围），其激活值分布范围极广（0-255），而权重分布相对集中（std=0.05）。动态量化时，激活值使用实际运行时的 min/max，导致缩放因子 scale = 255/127 ≈ 2.0，量化步长过大，精度损失严重。最后一个全连接层的权重分布存在明显的离群点（最大值是标准差的 12 倍），直接使用 min/max 量化导致大部分权重被压缩到 2-3 个量化区间内。

解决方案：采用静态量化 + 百分位截断的策略。使用 500 张验证集图片作为校准数据，统计每个激活值张量的 99.9% 分位数作为量化上限。对于全连接层，将权重截断到 99.99% 分位数，并重新计算缩放因子。同时，将第一个卷积层的输入数据预先除以 255 归一化到 [0,1] 范围，缩小激活值动态范围。

结果对比：经过上述调整，INT8 模型的 Top-1 精度恢复到 69.1%，损失控制在 0.7% 以内，满足部署要求。整个调优过程耗时约 2 小时，主要工作量在于编写分布统计脚本和校准数据选择。

复盘经验：（1）量化方案必须逐层定制，不能一刀切；（2）激活值分布比权重分布更影响量化精度，优先处理激活值范围；（3）离群点检测应使用百分位数而非简单的 min/max；（4）输入数据的预处理方式（归一化）对首层量化影响巨大。

2.5 总结：分布特性驱动的压缩决策框架

本章的核心结论可以归纳为：权重分布决定剪枝策略，激活值分布决定量化策略，而两者的联合分布决定蒸馏的难度。在实际项目中，建议按照以下流程进行压缩方案设计：第一步，统计每一层的权重标准差、最大值/标准差比值、零值比例；第二步，使用校准集统计激活值的 min/max、百分位数、偏度；第三步，根据统计结果将层分为三类——分布良好（可直接量化）、分布中等（需截断或感知训练）、分布恶劣（需特殊处理或保留高精度）。剪枝时，优先选择权重集中度高且 γ 值小的通道；量化时，优先处理激活值范围大的层；蒸馏时，关注教师模型 Logits 分布的平滑度，温度 T 的选择应使软标签的熵值适中。