3. 剪枝与稀疏化核心概念

在金融神经网络落地的过程中，模型往往面临“精度尚可但推理太慢、显存占用过高、难以部署到低延迟交易环境”的矛盾。剪枝与稀疏化正是缓解这一矛盾的核心手段。然而，初学者最容易混淆的，不是算法本身，而是术语之间的边界：参数剪枝和结构化剪枝是什么关系？稀疏化和稀疏训练是一回事吗？稀疏度与压缩率能否互相换算？本节将把这些概念逐一拆解，并给出可操作的判断标准。

一、核心原理：从“删什么”到“怎么表示”

剪枝的本质是移除神经网络中冗余或贡献较小的连接、通道或层，从而减少计算量和存储。根据移除对象的粒度，可分为两大类：

• 非结构化剪枝：以单个权重为粒度，将不重要的权重置零。它不改变网络拓扑，只改变权重矩阵中的数值分布。优点是压缩潜力大，缺点是产生的稀疏矩阵在通用硬件上难以直接加速。
• 结构化剪枝：以通道、滤波器、注意力头或整层为粒度进行移除。它直接改变网络结构，剪枝后得到的是更“窄”或更“浅”的稠密网络，因此可以在GPU、NPU等硬件上获得真实加速。

而参数剪枝是一个更宽泛的说法，通常指对模型参数进行裁剪的行为总称，既可能指非结构化剪枝，也可能指结构化剪枝。在金融工程实践中，若目标是降低实盘推理延迟，应优先考虑结构化剪枝；若目标是压缩模型存储、便于传输或做进一步量化，非结构化剪枝往往更灵活。

二、稀疏化与稀疏训练：表示方式与训练策略

稀疏化描述的是模型参数中零元素占比很高的状态。一个模型经过非结构化剪枝后，权重矩阵中大量元素为零，我们就说它被稀疏化了。稀疏化是一种结果状态，而不是训练方法。

稀疏训练则是一种训练策略，它在训练过程中引入稀疏约束，使模型在优化精度同时主动学习到稀疏结构。常见做法包括：在损失函数中加入L1正则项、使用硬阈值逐步置零、或采用稀疏掩码配合梯度更新。稀疏训练的目标是让模型在剪枝后仍保持较高精度，甚至直接训练出可用的稀疏模型。

两者关系可以概括为：稀疏训练是“因”，稀疏化是“果”。没有稀疏训练，直接对训练好的稠密模型做一次性剪枝，往往会导致精度骤降；而加入稀疏训练后，模型对剪枝的鲁棒性显著增强。

三、稀疏度与压缩率：量化指标与换算关系

在金融模型报告中，稀疏度和压缩率是最常被引用的两个指标，但它们的定义和用途不同。下表给出清晰对照：

注意：稀疏度与压缩率并非线性对应。例如稀疏度90%意味着非零参数占10%，压缩率约为10倍；但若采用稀疏存储格式，实际压缩率还受索引开销影响。在金融风控模型部署中，若只追求稀疏度而忽略硬件支持，可能出现“参数少了但推理没变快”的尴尬局面。

四、案例与场景：金融时序模型中的剪枝选择

假设我们有一个用于高频交易信号预测的LSTM模型，参数量约200万，推理延迟要求低于5毫秒。若直接采用非结构化剪枝，将稀疏度提升到90%，模型存储从8MB降到0.8MB，但由于GPU对稀疏矩阵乘法的支持有限，实际延迟可能仅从8ms降到7ms，无法满足要求。此时更合理的路径是：先做结构化剪枝，移除冗余的隐藏单元或注意力头，得到一个参数量约60万的稠密小模型，再配合量化，最终延迟可降至3ms以内。

另一个场景是风控评分卡模型。这类模型通常以表格数据为主，参数量不大，但需要频繁更新和传输。此时非结构化剪枝配合稀疏存储格式，可以显著降低模型体积，便于在边缘设备或移动端部署，而推理延迟并非首要瓶颈。

五、常见误区与复盘

• 误区一：稀疏度越高越好。稀疏度过高会导致模型表达能力不足，在金融数据分布漂移时更容易失效。建议通过验证集监控精度拐点，而非盲目追求90%以上稀疏度。
• 误区二：剪枝后不微调。剪枝会破坏原有参数平衡，必须通过少量轮次的微调恢复精度。金融时序模型尤其要注意微调时不能使用未来数据，避免数据泄露。
• 误区三：把稀疏训练当成剪枝。稀疏训练只是让模型“倾向于稀疏”，并不直接删除参数。真正部署时仍需配合剪枝操作或稀疏推理引擎。
• 误区四：忽略硬件支持。非结构化剪枝产生的稀疏矩阵，若没有专用稀疏计算库或硬件加速器，实际加速效果可能为零。部署前务必确认推理框架是否支持稀疏算子。