📚 课程目录第4章轻量化技术概览

4. 轻量化技术概览

在金融模型落地过程中，我们经常遇到一个矛盾：模型精度越高，参数越多，推理延迟和显存占用就越大；而业务系统往往要求毫秒级响应、低成本部署。轻量化技术正是为解决这一矛盾而生的工具箱。本节不深入某一种技术的数学细节，而是先建立一张“技术地图”，厘清剪枝、量化、低秩分解、紧凑网络设计与知识蒸馏之间的分工、联系与组合逻辑。

一、核心原理：五类技术作用于模型的不同维度

轻量化技术可以从“改什么”和“怎么改”两个角度理解。剪枝、量化、低秩分解属于模型压缩，它们通常作用于一个已经训练好的模型，通过去除冗余来减小体积；紧凑网络设计属于架构设计，在训练之前就选择更高效的网络结构；知识蒸馏则属于知识迁移，用大模型指导小模型训练，让小模型获得接近大模型的泛化能力。

剪枝：移除权重、通道或层中贡献较小的部分，减少参数量和计算量。分为非结构化剪枝和结构化剪枝。
量化：将浮点参数和激活值用低位宽整数表示，如 FP32 到 INT8，降低内存带宽和计算开销。
低秩分解：将大权重矩阵近似分解为多个小矩阵乘积，利用矩阵秩的冗余性减少参数。
紧凑网络设计：直接设计轻量级结构，如深度可分离卷积、MobileNet 系列、ShuffleNet 等。
知识蒸馏：让小型学生模型模仿大型教师模型的输出分布或中间特征，提升小模型精度。

  关键认知：这五类技术不是互斥的“单选题”，而是可以叠加的“组合拳”。例如，先设计紧凑网络，再蒸馏训练，最后量化部署，是金融风控模型常见的轻量化流水线。

二、方法流程：从训练到部署的典型组合路径

在金融场景中，一个完整的轻量化流程通常包含以下阶段。假设我们要将一个用于信贷违约预测的深度模型部署到边缘设备或高并发 API 服务中：

基线训练：先训练一个精度达标但体积较大的教师模型，作为知识来源和性能上限参考。
架构选择：根据延迟预算选择紧凑网络作为学生模型骨架，如轻量 MLP 或 MobileNet 变体。
知识蒸馏：用教师模型的软标签和中间特征指导学生模型训练，弥补小模型容量不足。
剪枝：对学生模型进行结构化剪枝，移除冗余通道，再微调恢复精度。
低秩分解：对全连接层或卷积层的大矩阵进行 SVD 分解，进一步压缩参数。
量化：将模型转换为 INT8 或 FP16，使用校准集确定量化参数，最后部署推理。

下面是一个量化校准阶段的伪代码示例，展示了金融模型量化时常用的校准流程：

# 量化校准示例（伪代码）
calib_loader = get_calibration_data(batch_size=32, num_batches=100)
model.eval()
with torch.no_grad():
    for batch in calib_loader:
        model(batch)  # 收集激活值分布
quantized_model = convert_to_int8(model, calib_method="entropy")
print("量化后模型大小:", quantized_model.size_mb())
print("校准集精度:", evaluate(quantized_model, val_loader))

三、案例/场景：信贷评分模型的轻量化实践

某消费金融公司需要将信贷评分模型部署到移动端进行实时预审。原始模型为 8 层全连接网络，参数量 120 万，FP32 推理延迟约 45ms，无法满足 20ms 以内的要求。团队采用组合策略：

阶段	技术	参数量	推理延迟	AUC 变化
基线	原始模型	120 万	45ms	0.812
蒸馏	知识蒸馏 + 紧凑网络	35 万	18ms	0.806
剪枝	结构化剪枝 40%	21 万	12ms	0.803
量化	INT8 量化	21 万	7ms	0.801

最终模型在 AUC 仅下降 0.011 的情况下，延迟降低到原来的 15%，成功上线。这个案例说明：轻量化不是单一技术的胜利，而是多种技术按顺序叠加的结果。蒸馏负责“保精度”，剪枝和低秩分解负责“减参数”，量化负责“提速度”。

四、误区与复盘：轻量化不是“越轻越好”

常见误区一：先量化再蒸馏。量化会引入噪声，如果先量化再蒸馏，教师模型的知识难以有效传递。正确顺序通常是先蒸馏、再剪枝、最后量化。

常见误区二：忽视金融数据的分布偏移。量化校准集如果只覆盖历史正常样本，遇到极端市场行情时模型可能严重失真。金融场景必须用包含压力场景的校准集。

复盘建议：每次轻量化后，除了看整体 AUC，还要看关键客群（如薄征信人群、小微企业主）的分层指标。轻量化最容易伤害的是尾部样本的区分度。

另一个常见问题是把低秩分解和剪枝混为一谈。剪枝是“去掉不重要的”，低秩分解是“用更少的基表示原来的”。两者可以叠加：先低秩分解压缩全连接层，再对分解后的小矩阵剪枝。但要注意，低秩分解对卷积层的效果通常不如对全连接层明显，金融模型中大量使用的表格特征 MLP 反而是低秩分解的理想对象。

最后需要强调：知识蒸馏与其他四类技术的关系最为特殊。剪枝、量化、低秩分解是“做减法”，紧凑网络设计是“换骨架”，而知识蒸馏是“做加法”——它不直接减少模型大小，而是提升小模型的精度上限，从而让更激进的压缩成为可能。没有蒸馏，剪枝和量化的精度损失可能无法接受；有了蒸馏，我们才能在压缩率和精度之间找到更优的平衡点。