📚 课程目录第1章课程导入

1. 课程导入

在金融行业，模型正在从“辅助工具”变成“生产系统”。无论是信贷审批中的评分卡、量化交易中的因子模型，还是风控中的反欺诈网络，模型一旦上线，就要面对延迟、吞吐、成本与合规的多重约束。过去我们更关心“模型准不准”，现在还必须回答“模型跑不跑得动、跑得快不快、跑得贵不贵”。这正是金融模型轻量化要解决的核心问题。

一、为什么金融模型必须轻量化

金融场景对模型的约束远比通用AI场景更苛刻。第一，实时性要求高：支付反欺诈需要在几十毫秒内完成决策，量化信号需要在行情到达的瞬间完成推理。第二，成本敏感：高频调用下，GPU显存、CPU核数、网络带宽都会直接转化为资金成本。第三，合规与可解释：监管要求模型决策可追溯，过于庞大的黑盒模型难以通过审计。第四，部署环境受限：很多银行、券商的核心系统仍运行在私有云或边缘设备上，无法随意扩容。

因此，轻量化不是“把模型变小”这么简单，而是在精度、速度、体积、成本、可解释性之间寻找最优平衡。它贯穿模型生命周期的每个阶段：从训练时的结构设计，到压缩时的剪枝量化，再到部署时的推理优化。

核心判断：轻量化不是牺牲精度，而是用更少的计算资源换取可接受的精度损失，从而让模型真正进入生产闭环。

二、核心概念：蒸馏、剪枝、量化与推理优化

本课程围绕四条技术主线展开，它们既独立又常组合使用。

知识蒸馏（Knowledge Distillation）：让一个小模型（学生）模仿大模型（教师）的输出分布或中间特征，从而继承教师的泛化能力。金融场景中，常用集成模型或深度网络作为教师，用轻量模型作为学生。
剪枝（Pruning）：移除模型中冗余的权重、通道或层，降低参数量和计算量。结构化剪枝对硬件更友好，非结构化剪枝压缩率更高但需要稀疏计算支持。
量化（Quantization）：将FP32权重和激活值映射到INT8甚至更低比特，显著减少内存占用并加速推理。金融时序模型对数值精度敏感，量化校准尤为关键。
推理优化（Inference Optimization）：包括算子融合、图优化、批处理调度、硬件专用加速等，属于部署阶段的工程手段。

这四者并非互斥。实际项目中，常见组合是“先蒸馏得到小模型，再剪枝去掉冗余，最后量化部署”。理解它们之间的协同关系，比单独掌握某一项技术更重要。

三、方法流程：从教师模型到生产部署

一个典型的金融模型轻量化流程可以概括为以下阶段：

基线评估：明确教师模型的精度、延迟、显存占用和调用成本，建立可对比的基线。
目标设定：根据业务SLA确定可接受的精度损失、延迟上限和硬件预算。
轻量化设计：选择蒸馏、剪枝、量化或组合策略，设计学生模型结构。
训练与校准：用教师输出或真实标签训练学生模型，并进行量化校准。
验证与回测：在离线数据集和模拟交易环境中验证精度、稳定性和鲁棒性。
部署与监控：上线后持续监控延迟、漂移和精度衰减，必要时触发再训练。

下面是一个简化的配置示例，展示蒸馏训练中常见的参数组织方式：

distillation:
  teacher: "ensemble_xgb_dnn"
  student: "mlp_small"
  temperature: 3.0
  alpha: 0.7          # 蒸馏损失权重
  hard_label_weight: 0.3
quantization:
  mode: "int8"
  calibration_samples: 5000
  per_channel: true
pruning:
  method: "structured"
  sparsity: 0.4
  finetune_epochs: 5

这些参数不是拍脑袋决定的。温度越高，软标签分布越平滑，学生越容易学到类间关系；但温度过高也会稀释关键信号。稀疏率过高会导致精度断崖，通常需要配合微调。量化校准样本必须覆盖真实业务分布，否则线上会出现严重偏差。

四、案例场景：信贷评分卡的轻量化实践

假设某银行有一个基于深度网络的信贷评分模型，AUC为0.82，但推理延迟为120ms，无法满足移动端审批的50ms要求。团队采用以下方案：

阶段	操作	结果
基线	深度网络，FP32，120ms	AUC 0.82
蒸馏	用教师软标签训练浅层MLP	AUC 0.80，延迟降至35ms
剪枝	结构化剪枝40%并微调	AUC 0.795，延迟降至28ms
量化	INT8量化+校准	AUC 0.79，延迟降至18ms

最终模型在精度损失仅0.03的情况下，延迟下降85%，成功上线移动端。这个案例说明：轻量化是一个逐步逼近业务约束的过程，而不是一次性动作。

五、常见误区与复盘

误区一：只追求压缩率，忽略业务指标。压缩率再高，如果AUC跌破风控阈值，模型就无法上线。必须以业务SLA为第一约束。

误区二：量化后不做校准。金融数据分布偏移明显，直接量化会导致尾部样本预测严重失真。

误区三：忽视推理框架差异。同一模型在不同推理引擎上的延迟可能相差数倍，必须实测。

误区四：上线后不监控。轻量化模型对数据漂移更敏感，需要建立持续监控和回滚机制。

复盘这些误区，核心只有一句话：轻量化的目标不是“小”，而是“在约束下可用”。任何脱离业务场景的压缩都是无效优化。

六、整体课程框架

本课程共30章，围绕“知识蒸馏—剪枝量化—推理优化—工程落地”四条主线展开。前段建立理论与评估体系，中段深入蒸馏与压缩技术，后段聚焦部署、监控与实战案例。你将逐步掌握从教师模型设计、学生模型训练，到INT8量化、算子融合、线上A/B测试的完整链路。

从这张全景图可以看到，轻量化不是单点技术，而是一条从教师模型到生产部署的完整链路。接下来的章节，我们将逐层拆解每个环节的原理、工具与实战细节。