📚 课程目录第4章大模型基础与选型

4. 大模型基础与选型

在金融结构化信息抽取任务中，模型选型往往比提示词工程更早决定项目上限。金融文本具有术语密集、格式多样、合规约束强、数值精度要求高等特点，因此理解主流大模型的底层架构差异，并据此匹配金融场景，是实战的第一步。

一、核心原理：三类主流架构的能力边界

当前主流大模型可归为三类架构范式，它们在信息抽取任务中的表现差异显著：

Decoder-only（自回归）：以、Llama、Qwen 为代表，通过因果注意力逐生成。优势是通用性强、指令跟随好，适合将抽取任务转化为"生成结构化 JSON"的形式。
Encoder-only（双向编码）：以 BERT、RoBERTa、FinBERT 为代表，擅长理解上下文，天然适合命名实体识别（NER）和分类，但无法直接生成结构化输出。
Encoder-Decoder（序列到序列）：以 T5、BART 为代表，兼顾理解与生成，适合"文本→结构化字段"的映射任务，但生态与微调资源相对较少。

金融抽取的典型链路是：原始文本 → 实体识别 → 关系抽取 → 字段归一化 → 结构化输出。Decoder-only 模型可端到端完成，但需警惕幻觉；Encoder-only 精度稳定但需拼接多个子任务。

二、金融领域适配模型：从通用到专用

通用大模型在金融场景直接使用常出现三类问题：对财报术语理解偏差、对表格与数字对齐能力弱、对监管口径不敏感。因此金融适配模型通常沿两条路径演进：

领域继续预训练：在通用基座（如 Llama、Qwen）上注入财报、研报、公告、监管文件语料，提升领域词表与语义覆盖。
指令微调与对齐：构造"金融文本→结构化字段"的指令数据集，用 SFT + DPO 让模型稳定输出符合 schema 的 JSON。

典型代表包括 BloombergGPT（闭源、金融语料预训练）、FinGPT（开源、可微调）、以及国内基于 Qwen、Baichuan 的金融微调版本。选型时应重点评估其在数值抽取准确率、字段完整率、格式合规率三项指标上的表现。

三、开源与闭源模型对比

金融行业对数据隐私和合规要求极高，开源与闭源的选择本质是"能力上限"与"可控性"的权衡。下表给出关键维度对比：

维度	开源模型	闭源模型
数据隐私	可本地部署，数据不出域	需调用 API，存在外传风险
可微调性	支持全参/LoRA 微调	通常仅支持提示词与少量微调
抽取精度	依赖微调质量，上限较高	开箱即用，通用能力强
成本结构	前期算力投入高，边际成本低	按计费，规模化成本高
合规审计	可审计权重与推理过程	黑盒，审计困难
迭代速度	自主可控，迭代慢	厂商快速升级

实务建议：涉及客户隐私、未公开财报、内幕敏感信息的抽取任务，优先选择可本地部署的开源模型；面向公开公告、研报摘要等低敏场景，可用闭源模型快速验证效果。

四、案例与场景：财报字段抽取的选型决策

假设任务是从上市公司年报中抽取"营业收入、净利润、资产负债率、审计意见"四类字段。可选方案如下：

方案A：Qwen2.5-7B + LoRA 微调（本地部署）
  - 训练数据：5000 条财报-字段对
  - 输出格式：JSON schema 约束
  - 推理硬件：单卡 A100 40G
  - 预期字段完整率：92%

方案B： API + Few-shot 提示
  - 无需训练，构造 5 条示例
  - 输出格式：JSON mode
  - 成本：约 0.01 元/千 
  - 预期字段完整率：88%

方案C：FinBERT + 规则后处理
  - NER 抽取实体，规则归一化
  - 无需生成，速度快
  - 预期字段完整率：85%，但数值精度最高

若企业已有 GPU 资源且数据敏感，方案 A 综合最优；若需快速验证，方案 B 更敏捷；若字段结构固定、追求数值零误差，方案 C 仍具价值。

五、误区与复盘

常见误区一：盲目追求参数量。金融抽取任务中，7B 微调模型常优于未微调的 70B 通用模型，因为领域对齐比规模更关键。
常见误区二：忽视输出约束。不限制 JSON schema 时，模型会自由发挥字段名，导致下游解析失败。
常见误区三：用闭源模型处理敏感数据。一旦数据外传，合规风险不可逆。

复盘要点：选型应围绕"数据敏感度、精度要求、成本预算、迭代频率"四个维度打分，而非单一追求模型榜单排名。建议先用小样本在 2～3 个候选模型上做 A/B 测试，再决定微调或 API 路线。

综上，金融大模型选型不是"越大越好"，而是"越匹配越好"。理解架构差异、明确领域适配路径、权衡开源闭源利弊，再结合具体抽取任务做小样本验证，才能构建稳定、合规、可迭代的金融结构化信息抽取系统。