1. 课程导入
欢迎进入《金融NLP模型蒸馏与在线推理实战》。在动手写第一行蒸馏代码之前，我们需要先建立一张清晰的“作战地图”：金融NLP到底包含哪些任务？为什么大模型在金融场景中必须被蒸馏？在线推理的工程约束又是什么？本节将围绕这三个问题展开，并完成实战环境的搭建。
一、金融NLP的任务版图
金融文本具有高度专业化、噪声密集、时效敏感三大特征。公告、研报、财报、新闻、社交媒体舆情、监管文件、客服对话，构成了金融NLP的主要数据源。围绕这些数据，任务可以划分为四个层次：
- 基础抽取层：命名实体识别（公司、人物、金额、指标）、关系抽取（股权、供应链、担保）、事件抽取（并购、违约、分红）。
- 语义理解层：情感分析（股吧情绪、研报观点）、文本分类（风险等级、行业标签）、语义匹配（问答对、条款检索）。
- 生成与决策层：摘要生成（财报速读）、报告生成、投资信号生成、智能投顾对话。
- 合规与风控层：反洗钱文本识别、违规话术检测、监管条款比对、舆情预警。
这些任务的共同点是：输入长、领域词多、对延迟和稳定性要求高。一个在通用语料上表现优异的百亿参数模型，直接部署到金融在线系统往往面临成本与延迟的双重压力，这正是模型蒸馏的用武之地。
二、模型蒸馏与在线推理的价值
模型蒸馏的核心思想是让一个轻量级“学生模型”模仿大型“教师模型”的输出分布，从而在保留大部分性能的同时大幅降低参数量和计算量。在金融场景中，它的价值体现在三个维度：
| 维度 | 教师大模型 | 蒸馏后学生模型 | 业务收益 |
|---|---|---|---|
| 参数量 | 7B～70B | 0.1B～1B | 显存占用下降80%以上 |
| 单条推理延迟 | 300～2000ms | 10～80ms | 满足实时风控与对话 |
| 部署成本 | 多卡GPU | 单卡或CPU | 推理成本显著降低 |
| 领域适配 | 通用知识强 | 可注入金融词典与规则 | 领域指标更稳定 |
在线推理则关注“最后一公里”：批处理与流式、动态批大小、KV Cache、量化、并发控制、超时降级。蒸馏解决“模型能不能跑得动”，在线推理解决“跑得稳不稳、快不快”。两者结合，才能把实验室指标转化为生产可用服务。
核心判断：金融NLP的落地瓶颈通常不是“模型不够大”，而是“大模型无法在约束下稳定服务”。蒸馏与在线推理是同一枚硬币的两面。
三、学习路径与实战环境搭建
本课程的学习路径遵循“先看懂、再跑通、后调优”的节奏：
- 建立任务版图与评估体系，明确金融指标（F1、AUC、延迟P99、吞吐）。
- 掌握蒸馏数据构造：教师软标签、温度系数、损失函数设计。
- 完成学生模型训练与压缩：层数裁剪、注意力头裁剪、量化感知训练。
- 搭建在线推理服务：模型导出、动态批处理、缓存与降级策略。
- 进行端到端压测与复盘，形成可复用的金融NLP蒸馏流水线。
实战环境建议使用 Python 3.10+、PyTorch 2.x、Transformers、ONNX Runtime 或 TensorRT，以及 FastAPI 作为服务框架。下面给出一个最小可用的环境检查脚本：
python -c "import torch, transformers, onnxruntime, fastapi; \
print('torch', torch.__version__); \
print('transformers', transformers.__version__); \
print('onnxruntime', onnxruntime.__version__); \
print('cuda', torch.cuda.is_available())"
如果输出中 cuda 为 True，说明GPU环境可用；若为 False，仍可完成CPU侧蒸馏与推理实验，但训练速度会明显下降。建议至少准备一张16GB显存的GPU用于教师模型推理。
环境提示：金融文本常包含长表格与数字，分词器需支持长序列。建议将 max_length 设为512～1024，并开启 truncation 与 padding，避免推理时因超长输入报错。
四、常见误区与复盘
初学者最容易陷入三个误区：
- 误区一：蒸馏就是简单缩小模型。实际上，没有高质量软标签和温度调节，学生模型可能只学到“硬标签”，性能下降明显。
- 误区二：只看离线指标，忽略在线延迟。离线F1提升1%，但P99延迟翻倍，在风控场景中不可接受。
- 误区三：忽视金融领域词典与规则。纯数据驱动模型对“同比”“环比”“扣非”等术语容易混淆，需在蒸馏数据中注入领域约束。
复盘要点：每完成一次蒸馏实验，记录教师模型、学生模型、温度、损失权重、离线指标与在线延迟。没有基线对比的“感觉变好了”不是工程结论。
至此，你已经对金融NLP的任务版图、蒸馏与在线推理的价值、学习路径和环境要求有了整体认识。接下来，我们将从评估体系开始，逐步把这张全景图变成可运行的代码与可上线的服务。