3、大语言模型基础原理：Transformer架构、注意力机制、预训练与微调、上下文窗口等核心概念
金融从业者在接触大语言模型时，首先需要跨越的认知门槛并非编程或数学公式，而是理解模型“为什么能工作”以及“工作的边界在哪里”。大语言模型（LLM）的本质是一个基于深度神经网络的自然语言处理系统，其底层架构、训练范式与推理机制共同决定了它在金融场景中的能力上限与风险特征。本章将围绕Transformer架构、注意力机制、预训练与微调、上下文窗口四大核心概念展开，帮助学员建立对LLM的工程化认知框架，为后续的金融场景落地打下理论基础。
3.1 Transformer架构：从RNN到并行计算的范式跃迁
核心原理：Transformer架构由Vaswani等人在2017年提出，彻底改变了自然语言处理的技术路线。在Transformer之前，循环神经网络（RNN）及其变体（LSTM、GRU）是处理序列数据的主流方案，但RNN存在两个致命缺陷：一是必须按时间步顺序计算，导致训练速度极慢；二是长距离依赖问题，即当句子中两个关键信息相隔较远时，RNN难以捕捉它们之间的关联。Transformer通过自注意力机制（Self-Attention）和位置编码（Positional Encoding）解决了上述问题，实现了序列数据的并行处理。
Transformer的核心结构包含编码器（Encoder）和解码器（Decoder）两部分。编码器负责将输入文本转换为深层语义表示，解码器则根据编码结果逐词生成输出。每个编码器层由两个子层组成：多头自注意力层和前馈神经网络层，每个子层后都接有残差连接和层归一化。金融场景中，我们通常使用基于编码器或解码器架构的变体模型，如BERT（双向编码器）适合文本分类、实体识别等理解任务，（自回归解码器）适合文本生成、对话等生成任务。
| 对比维度 | RNN/LSTM | Transformer | 金融场景影响 |
|---|---|---|---|
| 计算方式 | 顺序计算，逐步传递 | 并行计算，全局注意力 | 训练效率提升百倍以上 |
| 长距离依赖 | 存在梯度消失，难以捕捉 | 直接建模任意距离依赖 | 可分析整份年报的跨章节关联 |
| 可扩展性 | 难以扩展到大规模参数 | 支持千亿级参数训练 | 模型能力随规模持续提升 |
| 推理延迟 | 必须逐步生成 | 生成时仍需逐步解码 | 影响实时交易场景的响应速度 |
3.2 注意力机制：模型如何“关注”关键信息
核心原理：注意力机制（Attention Mechanism）是Transformer的灵魂。其本质是让模型在处理每个词时，动态计算该词与序列中其他所有词的相关性权重，然后根据权重加权聚合所有词的信息。用金融场景类比：当分析师阅读一份并购公告时，注意力机制相当于让模型自动识别“交易金额”“支付方式”“监管审批”等关键字段，并建立它们之间的关联。
具体实现上，注意力机制通过三个可学习的权重矩阵将输入向量映射为查询（Query）、键（Key）和值（Value）三个向量。注意力分数通过Query与Key的点积计算，再经过Softmax归一化得到权重分布，最后与Value加权求和。多头注意力（Multi-Head Attention）则是将注意力计算拆分为多个子空间并行执行，使模型能够从不同维度捕捉语义关系——类似于多个金融分析师从不同角度（财务、法律、市场）同时审阅同一份文件。
- 计算Query、Key、Value：输入向量分别乘以三个权重矩阵，得到三个新向量。
- 计算注意力分数：Query与所有Key做点积，除以缩放因子√d_k防止梯度消失。
- Softmax归一化：将分数转换为概率分布，确保权重之和为1。
- 加权求和：将归一化权重与Value向量相乘并累加，得到该位置的输出表示。
3.3 预训练与微调：从通用能力到金融专业能力
核心原理：预训练（Pre-training）是指在大规模无标注文本语料上训练模型，使其学习语言的通用语法、语义和世界知识。这个过程类似于金融专业学生的通识教育阶段——先学习数学、经济学、会计学等基础课程，建立广泛的知识框架。预训练的目标通常是预测下一个词（自回归）或掩盖词预测（自编码），模型通过海量文本的学习，掌握了语言的内在规律。
微调（Fine-tuning）则是在预训练模型的基础上，使用特定领域的有标注数据继续训练，使模型适配具体任务。以金融场景为例，我们可以使用“招股说明书+审核意见”作为训练对，微调模型使其掌握监管审核的关注要点；或者使用“客户咨询问题+标准答复”微调模型，使其成为专业的金融客服机器人。微调的本质是让模型在保持通用语言能力的同时，调整参数以优化特定任务的性能。
| 训练阶段 | 数据规模 | 数据标注 | 计算资源 | 金融应用示例 |
|---|---|---|---|---|
| 预训练 | 数十亿至数万亿 | 无需标注 | 数千张GPU，数周至数月 | 通用语言理解基础 |
| 领域预训练 | 数十亿金融语料 | 无需标注 | 数十张GPU，数天 | 金融术语、行业知识注入 |
| 指令微调 | 数万至数百万条指令 | 人工编写或合成 | 单张至数张GPU，数小时 | 让模型学会“按指令执行” |
| 人类反馈对齐 | 数万条偏好对比 | 人工标注偏好 | 数张GPU，数天 | 使回答更符合金融合规要求 |
3.4 上下文窗口：模型的“工作记忆”边界
核心原理：上下文窗口（Context Window）是指模型在生成下一个时能够“看到”的最大数量。这个窗口决定了模型的工作记忆容量——它只能基于窗口内的文本进行推理和生成。当前主流模型的上下文窗口从4K到128K 不等，部分前沿模型已支持200K以上。是文本的基本单位，1个约等于0.75个英文单词或0.5个中文字符，因此128K窗口大约对应9.6万英文单词或6.4万中文字符。
上下文窗口的限制对金融场景有深远影响。一份完整的上市公司年报约10-20万字，一份招股说明书可达50万字以上，而一份复杂的并购协议可能超过100页。如果模型窗口不足以容纳完整文档，就需要采用分块处理（Chunking）、检索增强生成（RAG）或长文本压缩等策略。此外，窗口长度还直接影响计算复杂度——注意力机制的计算量随窗口长度呈平方级增长，这意味着更长的窗口需要更多的显存和计算时间。
背景与约束：某头部券商需要为投研团队提供自动化研报摘要工具，处理对象为平均50页（约3万）的行业深度报告。初始方案直接使用8K窗口的通用模型，发现摘要丢失关键数据。
分析过程：技术团队对比了三种方案：A) 直接截断前8K ；B) 使用16K窗口模型；C) 采用“摘要-检索-再摘要”的分层策略。方案A导致后半部分核心结论丢失；方案B虽能覆盖全文，但模型对中间章节的注意力权重偏低；方案C将报告按章节切块，先对每块生成局部摘要，再对局部摘要进行二次摘要。
实施结果：方案C在ROUGE-L评分上比方案A提升23%，比方案B提升11%，且推理成本降低40%。
复盘经验：上下文窗口不是越大越好，需要结合文档结构、关键信息分布和推理成本综合设计。对于结构化金融文档，分块+摘要的级联策略往往优于单纯扩大窗口。
3.5 金融场景落地的关键启示与常见误区
核心原理：理解上述四大概念后，金融从业者需要建立三个关键认知：第一，LLM的能力边界由架构、数据和训练方式共同决定，不存在“万能模型”；第二，金融场景的高专业性和强合规性要求必须进行领域适配；第三，上下文窗口是当前最实际的工程约束，直接影响应用架构设计。
| 常见误区 | 正确认知 | 金融场景建议 |
|---|---|---|
| 认为模型“理解”金融知识 | 模型只是学习统计规律，无真正理解 | 关键决策需人工复核，模型输出仅作参考 |
| 忽略计算成本 | 长上下文推理成本呈指数增长 | 优化提示词长度，使用缓存和批处理 |
| 直接使用通用模型处理专业任务 | 领域微调可显著提升准确率 | 至少进行金融语料继续预训练 |
| 认为窗口越大越好 | 大窗口带来注意力分散和成本上升 | 根据文档结构选择合适的分块策略 |