4、剪枝基础概念：结构化剪枝与非结构化剪枝、细粒度剪枝与粗粒度剪枝、剪枝粒度对硬件加速的影响
模型剪枝（Model Pruning）是模型压缩中最核心的技术之一，其本质是在尽量保持模型精度的前提下，移除神经网络中冗余的权重、通道甚至层结构。对于MobileNet Tiny这类面向边缘部署的轻量级模型而言，剪枝不仅是减少参数量，更是为了在特定硬件（如NPU、DSP、MCU）上获得可预期的加速收益。然而，剪枝并非“一刀切”的操作——选择不同的剪枝粒度，直接决定了压缩率上限、精度损失程度以及硬件加速的实际效果。本节将系统梳理结构化与非结构化剪枝、细粒度与粗粒度剪枝的概念边界，并深入分析剪枝粒度与硬件加速之间的工程关系。
上图展示了剪枝粒度的核心分类及其与硬件加速的对应关系。从工程视角看，剪枝粒度的选择本质上是在“精度保留”与“硬件友好度”之间做权衡。下面我们将逐一拆解这些概念。
4.1 非结构化剪枝：细粒度权重稀疏化
核心原理
非结构化剪枝（Unstructured Pruning）是最原始的剪枝形式，它针对神经网络中的单个权重参数进行裁剪。具体做法是设定一个阈值（例如绝对值小于0.01的权重），将低于阈值的权重直接置为零。这种剪枝方式不改变网络的拓扑结构，只是让权重矩阵变得稀疏。在MobileNet Tiny中，深度可分离卷积的1x1逐点卷积（Pointwise Convolution）占据了绝大部分参数量，非结构化剪枝可以对这些卷积核中的冗余权重进行细粒度剔除。
判断方法与操作流程
判断一个剪枝方案是否为非结构化，主要看三个特征：剪枝粒度是否到单个权重、是否产生不规则稀疏模式、是否需要特殊存储格式。操作流程通常如下：
- 训练基准模型：先训练一个收敛的MobileNet Tiny模型，记录其Top-1精度和参数量。
- 计算权重重要性：常用L1范数、L2范数或泰勒展开作为重要性评分。
- 设定稀疏率：例如目标稀疏率为50%，即剪掉50%的权重。
- 掩码生成：生成与权重张量同形状的0/1掩码（Mask），0表示剪掉。
- 重训练（Fine-tune）：固定掩码，对剩余非零权重进行微调，恢复精度。
案例拆解：MobileNet Tiny的50%非结构化剪枝实验
假设我们在ImageNet子集上训练了一个MobileNet Tiny模型，原始参数量为3.2M，Top-1精度为68.5%。我们尝试50%非结构化剪枝：
- 初始现象：直接剪枝后精度骤降至52.3%，损失高达16.2%。
- 分析过程：直接剪枝破坏了权重分布，尤其是BatchNorm层的统计量失效。我们加入重训练（学习率1e-4，训练10个epoch）后，精度回升至66.8%，仅损失1.7%。
- 关键参数：稀疏率50%，阈值设为0.015，重训练使用余弦退火学习率。
- 结果对比：参数量从3.2M降至1.6M，但实际推理速度在普通CPU上几乎没有提升，因为稀疏矩阵需要额外的索引存储和计算分支。
常见误区与总结
误区一：认为“剪掉50%权重就等于减少50%计算量”。实际上，只有硬件支持稀疏计算时才能兑现这部分收益。误区二：忽略掩码本身的存储开销。对于小模型，掩码可能占据额外10%-20%的存储。总结：非结构化剪枝适合作为精度上界参考，或用于研究模型的理论冗余度，但在工程部署中需谨慎评估。
4.2 结构化剪枝：通道与滤波器级别的粗粒度裁剪
核心原理
结构化剪枝（Structured Pruning）以卷积通道（Channel）、滤波器（Filter）或整个层为基本单位进行裁剪。它直接改变网络的宽度或深度，剪枝后仍然保持规则的稠密矩阵运算。对于MobileNet Tiny，最常用的是通道剪枝——即删除某个卷积层中不重要的输出通道，同时删除下一层对应的输入通道。这种剪枝方式不需要特殊存储格式，可以直接在标准硬件上获得加速。
判断方法与操作流程
判断结构化剪枝的关键特征：剪枝单位是否具有完整的“行”或“列”结构、剪枝后网络宽度是否变化、是否可以直接部署到任何硬件。操作流程如下：
- 通道重要性评估：常用方法包括基于BN层缩放因子（γ）的L1正则化、基于梯度敏感度分析、或基于通道激活值统计。
- 全局或分层阈值设定：可以按层设定剪枝比例，也可以全局统一设定。
- 执行剪枝：删除不重要的通道及其对应的前后连接。
- 紧凑模型重建：生成新的更窄的模型结构，并复制保留的权重。
- 微调恢复：对剪枝后的模型进行重训练。
案例拆解：MobileNet Tiny通道剪枝实战
我们针对MobileNet Tiny的逐点卷积层进行通道剪枝。该模型共有13个逐点卷积层，每层输出通道数从16到256不等。我们采用BN层γ值作为重要性指标：
- 初始目标：在精度损失不超过2%的前提下，减少30%的参数量。
- 关键输入数据：统计各层γ值分布，发现第5层和第9层的γ值中位数接近0.02，明显低于其他层（中位数0.15），说明这两层存在大量冗余通道。
- 分析判断：对γ值低于0.05的通道进行剪枝，第5层从128通道剪至80通道，第9层从96通道剪至64通道，其他层保持不动。
- 实际操作：使用PyTorch的BN_fold技术将BN层融合进卷积层，然后执行通道剪枝，最后重新训练15个epoch。
- 结果对比：参数量从3.2M降至2.1M（减少34%），Top-1精度从68.5%降至67.1%（损失1.4%）。在STM32H743上实测推理速度从12.3ms提升至8.1ms，加速比1.52倍。
- 风险与代价：剪枝后模型对量化敏感度增加，INT8量化后精度额外损失0.8%。
常见误区与总结
误区一：认为所有层都适合相同比例的剪枝。实际上，浅层特征提取层（前几层）对精度影响大，应少剪或不剪；深层语义层冗余度更高。误区二：忽略剪枝后的模型结构搜索。剪枝后各层通道数不均衡，可能导致内存碎片化。总结：结构化剪枝是工程落地的核心手段，但需要精细的逐层分析和验证。
4.3 剪枝粒度对硬件加速的影响
核心原理
剪枝粒度直接决定了硬件能够利用的加速模式。现代边缘计算硬件（如ARM Cortex-M、瑞萨RA系列、恩智浦i.MX RT系列）的乘加运算单元（MAC）通常针对稠密矩阵优化。非结构化剪枝产生的稀疏模式无法被这些硬件直接利用，需要额外的稀疏索引解析逻辑，反而增加开销。而结构化剪枝保持了规则的张量形状，硬件可以按部就班地执行矩阵乘加运算，只是矩阵维度变小了。
硬件加速对比分析
| 剪枝类型 | 粒度 | 存储格式 | CPU加速 | NPU/DSP加速 | 典型应用场景 |
|---|---|---|---|---|---|
| 非结构化剪枝 | 单个权重 | CSR/CSC稀疏格式 | 无加速（甚至变慢） | 仅支持特定稀疏模式的NPU | 学术研究、模型压缩率探索 |
| 结构化剪枝（通道/滤波器） | 通道/滤波器 | 标准稠密张量 | 直接加速（维度减小） | 直接加速 | 边缘设备部署、MCU推理 |
| 半结构化剪枝（如2:4模式） | 每4个权重保留2个 | 专用稀疏格式 | 需特殊指令集 | 部分新架构NPU支持 | 服务器端GPU/TPU |
案例拆解：不同剪枝粒度在Cortex-M55上的实测对比
我们在一颗集成Helium向量扩展的Cortex-M55处理器上，对MobileNet Tiny分别应用非结构化剪枝（50%稀疏）和结构化通道剪枝（30%通道裁剪），对比推理延迟：
- 基线：未剪枝模型，推理延迟15.2ms，Flash占用1.8MB。
- 非结构化剪枝：参数量降至1.6M，但推理延迟反而升至18.7ms（增加23%）。原因：CSR格式导致内存访问非连续，Helium向量化无法有效加载稀疏数据。
- 结构化剪枝：参数量降至2.1M，推理延迟降至9.8ms（减少35%）。原因：矩阵维度从128x128降至80x80，向量化加载效率提升，且无额外索引开销。
- 复盘经验：在MCU级别硬件上，结构化剪枝的加速收益远大于非结构化剪枝。即使非结构化剪枝的压缩率更高，但实际功耗和延迟表现更差。
常见误区与总结
误区一：将“参数量减少”等同于“推理加速”。参数量减少是存储层面的收益，推理加速取决于计算量的减少和硬件利用率。误区二：忽略剪枝对内存带宽的影响。即使计算量减少，如果权重存储不连续，内存带宽可能成为新瓶颈。总结：剪枝粒度的选择应以目标硬件的计算特性为第一约束，其次才是压缩率目标。
4.4 细粒度与粗粒度剪枝的权衡决策框架
核心原理
细粒度剪枝（非结构化）和粗粒度剪枝（结构化）并非对立关系，而是可以组合使用的。例如，先进行通道剪枝（粗粒度），再对剩余权重进行非结构化剪枝（细粒度），可以进一步压缩。但这种混合策略需要硬件同时支持稠密和稀疏计算，工程复杂度较高。对于MobileNet Tiny，建议采用“粗粒度为主、细粒度微调”的策略。
决策流程清单
- 第一步：明确部署硬件——是MCU、DSP还是NPU？是否支持稀疏计算？
- 第二步：设定压缩目标——是追求最小Flash占用，还是最低推理延迟？
- 第三步：粗粒度剪枝——优先进行通道剪枝，目标压缩率50%-70%。
- 第四步：精度验证——若精度损失超过阈值，则减少剪枝比例或增加重训练时长。
- 第五步：细粒度补充——在粗粒度基础上，对剩余权重进行10%-20%的非结构化剪枝，进一步减少存储。
- 第六步：硬件实测——在目标硬件上运行剪枝后的模型，测量延迟、功耗和Flash占用。
案例拆解：混合剪枝在电池供电设备中的应用
某智能穿戴设备需要部署MobileNet Tiny进行手势识别，硬件为Cortex-M4F（无向量扩展），Flash限制为1MB，电池容量50mAh。初始模型Flash占用1.8MB，无法满足要求。我们采用混合剪枝方案：
- 第一步：通道剪枝，将逐点卷积层通道数减少40%，Flash降至1.1MB，精度损失1.2%。
- 第二步：对深度卷积层进行非结构化剪枝（稀疏率30%），Flash降至0.9MB，精度额外损失0.5%。
- 第三步：INT8量化，Flash降至0.45MB，精度损失0.8%。
- 最终结果：总精度损失2.5%，Flash占用0.45MB，推理延迟从22ms降至14ms，电池续航从18小时提升至26小时。
- 风险与代价：混合剪枝增加了模型维护复杂度，每次升级模型都需要重新验证硬件兼容性。
总结复盘
剪枝粒度的选择是MobileNet Tiny压缩工程中的核心决策点。结构化剪枝（粗粒度）是硬件加速的基石，非结构化剪枝（细粒度）是压缩率的补充手段。在实际项目中，应遵循“硬件先行、粒度适配、逐层验证”的原则。通过本节的学习，你应该能够根据目标硬件特性，合理选择剪枝粒度，并预判剪枝后的加速效果。