📚 课程目录第2章金融场景与模型基础

2. 金融场景与模型基础

在进入剪枝与稀疏化之前，必须先回答一个前置问题：金融业务到底需要什么样的神经网络？不同任务对模型的结构偏好、时序依赖长度、可解释性要求和推理延迟约束差异极大。剪枝策略若脱离这些约束，往往会把模型压小却压坏业务指标。本节先梳理三类典型金融任务的特点，再概述四类常用网络结构，为后续稀疏化方案的选择建立判断依据。

一、三类金融任务的核心特点

金融任务与通用视觉、NLP任务最大的区别在于：信噪比低、样本非独立同分布、错误代价高度不对称。这三点直接决定了模型结构与压缩策略的取舍。

金融时序预测：输入为多变量时间序列（价格、成交量、宏观指标、舆情因子），目标是预测收益率、波动率或方向。特点是长短期依赖混合、分布漂移严重、有效信号稀疏。模型对参数量并不敏感，但对时序感受野和过拟合控制极为敏感。
信用评分：输入为结构化特征（收入、负债、历史逾期、征信查询次数），输出为违约概率或评分卡分数。特点是特征维度中等、样本量可达百万级、强监管要求可解释性。模型通常偏浅，MLP与梯度提升树是主流。
风险控制：包括反欺诈、异常交易检测、实时授信决策。特点是极端类别不平衡（欺诈占比常低于0.1%）、要求毫秒级推理、需要图结构刻画账户与设备关联。GNN与轻量MLP组合常见。

核心判断：时序预测重“感受野与正则”，信用评分重“可解释与稳定”，风控重“低延迟与图关系”。剪枝时，时序模型应优先剪冗余通道而非缩短记忆；评分模型应保留单调性相关权重；风控模型应优先压缩全连接层而非图聚合层。

二、四类常用网络结构概述

四类结构在金融场景中的定位差异明显，下表给出对比清单。

结构	典型金融任务	关键优势	剪枝敏感点
MLP	信用评分、简单风控	训练快、易解释、部署轻	隐层神经元冗余度高，适合结构化剪枝
LSTM / GRU	时序预测、违约预警	门控记忆、捕捉中长期依赖	门控权重耦合强，剪枝需保护遗忘门
Transformer	多因子时序、舆情融合	长程注意力、并行训练	注意力头冗余明显，适合头剪枝
GNN	反欺诈、关联风险传播	刻画账户-设备-商户关系	聚合层与边特征敏感，慎剪邻居采样

从剪枝视角看，MLP的冗余最“友好”，Transformer的注意力头冗余最“规整”，LSTM的门控耦合最“棘手”，GNN的图结构最“脆弱”。这决定了后续章节中不同稀疏化方法的适用边界。

三、方法流程：从任务到结构的匹配路径

面对一个新金融任务，建议按以下流程确定基础模型，再考虑压缩空间。

判定任务类型：是回归、二分类还是排序？输出是否需要概率校准？
判定数据形态：纯表格、纯序列，还是“序列+关系”混合？
判定延迟预算：离线批量评分可接受百毫秒，实时风控通常要求10ms以内。
选择基础结构：表格优先MLP，序列优先LSTM或轻量Transformer，关系优先GNN。
评估冗余分布：统计各层权重范数、激活稀疏度、注意力头熵值，定位可剪区域。

# 示例：统计MLP各层权重L1范数与激活稀疏度
for name, module in model.named_modules():
    if isinstance(module, nn.Linear):
        w = module.weight.data
        l1 = w.abs().mean().item()
        zero_ratio = (w.abs() < 1e-4).float().mean().item()
        print(f"{name:20s} L1={l1:.4f} near_zero={zero_ratio:.2%}")

# 输出示例
# fc1                  L1=0.0231 near_zero=12.40%
# fc2                  L1=0.0087 near_zero=31.20%
# fc3                  L1=0.0042 near_zero=48.90%

当某层near_zero比例显著高于其他层时，该层就是结构化剪枝的首选目标。反之，若某层权重分布均匀且L1较高，说明信息密度大，应谨慎处理。

四、案例与误区复盘

案例：某消费金融公司的信用评分模型压缩。原始模型为4层MLP，输入128维特征，隐层分别为256、128、64。上线后发现推理延迟超标。团队直接对第二层做50%通道剪枝，AUC从0.782降至0.741。复盘发现：被剪掉的通道中包含了与“历史逾期次数”强相关的神经元，而该特征在尾部样本中区分度极高。改为按特征敏感度分组剪枝后，AUC仅下降0.004，参数量减少42%。

常见误区一：把“参数量小”等同于“推理快”。金融风控中，GNN的邻居采样和LSTM的序列展开往往才是延迟瓶颈，剪全连接层收益有限。
常见误区二：在时序模型上直接套用视觉领域的通道剪枝比例。时序模型的通道间相关性更高，等比例剪枝容易破坏周期性模式。
常见误区三：忽略监管对模型稳定性的要求。信用评分模型剪枝后若评分分布发生整体偏移，即使AUC不变也可能无法通过合规审查。

建议在剪枝前先做一次“结构诊断”：绘制各层权重范数分布、激活稀疏度曲线和注意力头熵值热力图。诊断结果比任何默认剪枝比例都更有指导意义。对于金融任务，宁可少剪一点，也要保住尾部样本的区分能力。

综上，金融场景的模型选择不是“越深越好”，而是“匹配任务约束”。剪枝与稀疏化的前提，是清楚每一层在业务中承担的角色。下一阶段，我们将基于这些结构特点，逐一展开结构化剪枝、非结构化稀疏与量化协同的具体方法。