3. 大模型基础与剪枝动机
在边缘端部署大语言模型（LLM）之前，我们必须先回答一个根本问题：为什么一个在云端表现优异的模型，到了边缘设备上就变得“寸步难行”？答案藏在Transformer架构的参数量与计算量特征之中。本章将首先拆解Transformer的核心结构，建立参数量与计算量的数学直觉，然后系统阐述剪枝的动机，最后厘清剪枝、量化与知识蒸馏三者之间的协同与差异。只有理解了“为什么需要剪”，才能正确选择“怎么剪”。
3.1 Transformer架构核心：参数量从何而来
现代大语言模型几乎全部基于Transformer的decoder-only变体。理解其参数分布是剪枝决策的前提。一个标准的Transformer层由四个主要部分组成：多头自注意力（MHA）、前馈网络（FFN）、层归一化（LayerNorm）和残差连接。其中，参数量的大头集中在MHA和FFN。
以隐藏维度 d_model 为例，MHA模块包含四组投影矩阵（Q、K、V和输出投影），每组维度为 d_model × d_model，因此单层MHA的参数量为 4 × d_model²。FFN通常包含两个线性层，第一层将维度从 d_model 扩展到 d_ff（通常 d_ff = 4 × d_model），第二层再压缩回 d_model，参数量为 2 × d_model × d_ff = 8 × d_model²。LayerNorm每个仅含2个可学习参数（缩放和偏移），可忽略不计。因此，单层Transformer的总参数量约为 12 × d_model²。一个具有 L 层的模型，总参数量约为 12 × L × d_model²。
| 模块 | 参数量公式 | 占比（典型值） | 剪枝潜力 |
|---|---|---|---|
| Embedding | V × d_model（V为词表大小） | 约10%~20% | 低（词表压缩需谨慎） |
| 多头注意力（MHA） | 4 × d_model² | 约33% | 高（可剪头、剪维度） |
| 前馈网络（FFN） | 8 × d_model² | 约66% | 最高（可剪中间维度） |
| LayerNorm + 残差 | 2 × d_model | <1% | 低（保留） |
从表中可以看出，FFN占据了模型参数量的三分之二，是结构化剪枝的首要目标。而MHA虽然占比略低，但其计算密集度高，对推理延迟影响显著。Embedding层在词表较大时（如50万词表）也可能成为内存瓶颈，但剪枝风险较高，通常采用共享嵌入或降维替代。
3.2 计算量分析：为什么边缘端“跑不动”
推理时的计算量（FLOPs）与参数量并非简单线性关系。对于自回归生成，每生成一个，需要执行一次完整的前向传播。总计算量约等于 2 × N × T，其中N为模型参数量，T为生成的数。这意味着一个70亿参数的模型，生成1000个需要约 1.4 × 10¹³ FLOPs。即便在边缘端常见的10 TOPS算力设备上，也需要约1.4秒的纯计算时间，这还不包括内存访问延迟。
更关键的是内存带宽瓶颈。在推理过程中，模型权重需要从内存加载到计算单元。以7B模型、FP16精度为例，权重占用约14GB内存。即使使用LPDDR5内存（带宽约50GB/s），加载一次全部权重就需要0.28秒。而实际推理中，权重加载次数远多于一次，因此内存带宽往往成为比算力更严重的瓶颈。这解释了为什么单纯增加算力无法解决边缘端部署问题——必须从减少参数量和降低位宽两个维度同时入手。
3.3 为什么需要剪枝：从“冗余”到“精简”
剪枝的核心动机在于：大模型存在大量冗余参数。研究表明，Transformer中许多注意力头学习到的模式高度相似，FFN中大量神经元在输入分布上激活值接近零。这些冗余参数对最终预测贡献极小，却占据了存储和计算资源。剪枝的目标就是在保持模型性能的前提下，系统地移除这些冗余结构。
剪枝的收益是直接的：参数量减少意味着模型文件更小，可以装入边缘设备的有限内存；计算量减少意味着推理延迟降低，能效比提升；内存带宽压力降低意味着每次权重加载更快，吞吐量提升。以LLaMA-7B为例，若将FFN维度剪掉25%，参数量可减少约16%，推理速度提升约20%，而困惑度（PPL）仅增加不到1%。
但剪枝并非没有代价。过度剪枝会导致模型能力骤降，尤其是少样本学习和推理能力。因此，剪枝需要遵循“评估-剪枝-微调”的闭环流程，且需要根据具体任务设定剪枝上限。
3.4 剪枝与量化、蒸馏的关系：三位一体的压缩策略
剪枝、量化与知识蒸馏是模型压缩的三大支柱，它们从不同维度减少模型资源占用，且可以组合使用。理解三者的边界与协同关系，是制定压缩方案的基础。
- 剪枝：改变模型结构，删除冗余的注意力头、FFN维度或层。属于“结构性减肥”，直接减少参数量和FLOPs。剪枝后模型结构发生变化，需要微调恢复精度。
- 量化：不改变模型结构，仅降低权重和激活值的数值精度（如FP16→INT8）。属于“精度压缩”，减少每个参数的位宽，从而降低内存占用和带宽需求。量化后模型结构不变，但数值分布改变，需要校准或量化感知训练。
- 知识蒸馏：用一个大的教师模型指导一个小学生模型训练，将知识迁移到更紧凑的架构中。属于“重新学习”，从头训练一个更小的模型，而非在原有模型上修改。蒸馏后的模型结构与教师模型完全不同。
| 维度 | 剪枝 | 量化 | 蒸馏 |
|---|---|---|---|
| 操作对象 | 模型结构 | 数值精度 | 模型架构 |
| 是否改变结构 | 是 | 否 | 是（全新结构） |
| 是否需要重新训练 | 需要微调 | 需要校准/微调 | 需要完整训练 |
| 主要收益 | 减少参数量与FLOPs | 减少位宽与带宽 | 获得更小模型 |
| 典型压缩比 | 1.5×~3× | 2×~4× | 3×~10× |
| 组合使用 | 推荐顺序：先剪枝 → 再量化 → 最后蒸馏微调（或蒸馏后剪枝+量化） | ||
在实际工程中，三者往往组合使用。例如，一个典型的边缘端部署流程是：先对LLaMA-7B进行结构化剪枝（移除30%的FFN维度和20%的注意力头），得到约5B参数的模型；然后进行INT8量化，将内存占用从10GB降至2.5GB；最后使用原始7B模型作为教师，对剪枝量化后的模型进行蒸馏微调，恢复精度损失。这种组合方案可以在边缘设备上实现接近原始模型90%以上的性能，而资源占用降低至原来的1/4。
3.5 案例拆解：从LLaMA-7B到边缘可部署的3B模型
我们以一个实际项目为例，展示剪枝动机如何转化为具体操作。某智能硬件公司需要在树莓派级别的设备（4GB内存，2 TOPS算力）上部署一个对话模型。初始方案直接使用LLaMA-7B（FP16），但模型权重14GB远超内存容量，且推理速度极慢（约5 /s）。
分析过程：首先，通过参数分析确认FFN占参数量66%，是主要压缩目标。其次，通过计算量分析发现，即使模型能装入内存，内存带宽也无法支撑实时对话（需要至少20 /s）。因此，必须同时减少参数量和位宽。
操作步骤：
- 使用梯度敏感度分析，识别FFN中贡献最小的30%维度，进行结构化剪枝，模型从7B降至4.8B。
- 对MHA模块，通过注意力头重要性评估，剪除20%冗余头，模型进一步降至4.2B。
- 对剪枝后的模型进行INT8量化，权重从FP16的8.4GB降至INT8的4.2GB，仍超出4GB限制。
- 再次剪枝10%的FFN维度，模型降至3.6B，INT8权重约3.6GB，勉强可装入。
- 使用原始LLaMA-7B作为教师，对3.6B学生模型进行蒸馏微调，恢复因剪枝和量化带来的精度损失。
结果对比：最终模型在4GB内存设备上运行，推理速度达到18 /s，内存占用3.8GB，功耗约8W。在对话任务上的BLEU分数从原始模型的0.82降至0.76，下降7%，但已满足产品需求。整个压缩流程耗时约3天（含蒸馏训练），相比从零训练一个3B模型节省了约80%的计算资源。
3.6 常见误区与总结复盘
在剪枝实践中，初学者常陷入以下误区：
- 误区一：只关注参数量，忽视计算量。有些层参数量少但计算密集（如MHA），剪掉后对延迟改善不明显。应同时评估FLOPs和内存访问量。
- 误区二：全局统一剪枝比例。不同层对剪枝的敏感度差异巨大。靠近输入和输出的层通常更敏感，应保留更多参数；中间层冗余度更高，可多剪。
- 误区三：剪枝后不微调。剪枝必然引入精度损失，必须通过微调（至少几百步）来恢复。跳过微调会导致模型可用性大幅下降。
- 误区四：将剪枝与量化对立。两者是互补关系，组合使用效果最佳。但需注意顺序和交互影响。
总结复盘：剪枝的本质是在“资源约束”与“模型能力”之间寻找最优平衡点。Transformer的参数量分布决定了FFN是剪枝的主战场，而MHA是计算优化的关键。剪枝、量化、蒸馏三者构成了完整的压缩工具箱，合理的组合策略可以实现在边缘端部署接近云端性能的模型。在实际项目中，务必先做资源预算分析（内存、算力、功耗），再确定剪枝目标，最后通过迭代评估找到最佳压缩配置。