大模型基础：Transformer架构、预训练与微调、主流大模型简介
大模型（Large Language Model, LLM）的爆发式发展，其技术底座可以追溯到2017年提出的Transformer架构。理解Transformer的自注意力机制、预训练与微调范式，以及、BERT、LLaMA等主流模型的演进脉络，是掌握大模型与知识图谱融合应用的先决条件。本节将系统拆解这三个核心模块，帮助学员建立从底层原理到工程选型的完整认知框架。
2.1 Transformer架构：大模型的基石
核心原理：自注意力机制与并行计算
Transformer摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全基于注意力机制（Attention Mechanism）构建。其核心创新在于自注意力（Self-Attention），它允许序列中的每个直接与序列中所有其他计算相关性权重，从而捕捉长距离依赖关系。对于输入序列中的每个，通过三个可学习的权重矩阵（W_Q, W_K, W_V）分别映射为查询向量（Query）、键向量（Key）和值向量（Value）。注意力分数通过Query与所有Key的点积计算，并经过Softmax归一化后加权求和对应的Value，得到该的上下文表示。
多头注意力（Multi-Head Attention）机制进一步将Q、K、V投影到多个子空间，并行执行注意力计算，使模型能够从不同表示子空间关注不同位置的信息。位置编码（Positional Encoding）则通过正弦/余弦函数或可学习参数为序列注入位置信息，弥补自注意力机制不具备顺序感知的缺陷。整个架构由编码器（Encoder）和解码器（Decoder）堆叠而成，每个子层均包含残差连接和层归一化（LayerNorm），有效缓解了深层网络训练中的梯度消失问题。
架构变体与选型判断
| 架构类型 | 代表模型 | 核心特点 | 适用场景 |
|---|---|---|---|
| 仅编码器（Encoder-only） | BERT、RoBERTa | 双向上下文建模，擅长理解任务 | 文本分类、命名实体识别、语义相似度 |
| 仅解码器（Decoder-only） | 系列、LLaMA | 自回归生成，擅长文本生成 | 对话系统、内容创作、代码生成 |
| 编码-解码（Encoder-Decoder） | T5、BART | 序列到序列转换，灵活性强 | 机器翻译、文本摘要、问答 |
选择架构时需根据任务性质判断：若以理解为主（如从知识图谱中抽取实体关系），BERT类模型更高效；若以生成为主（如根据图谱生成自然语言描述），/LLaMA类模型更合适；若涉及复杂的结构转换（如将自然语言转为SPARQL查询），T5类模型往往表现更佳。
案例拆解：用Transformer实现知识图谱关系抽取
假设我们需要从企业文档中抽取"员工-就职于-公司"三元组。采用BERT作为编码器，将句子输入后，通过微调在输出层添加分类头，对每个预测其是否为实体边界，并对实体对进行关系分类。实际部署中，我们使用预训练的BERT-base（110M参数），在标注了5000条样本的领域数据上进行全量微调。训练过程中观察到验证集F1值从初始的0.62提升至0.89，但继续训练至第5轮后出现轻微过拟合（训练F1=0.97，验证F1=0.88）。通过引入早停机制和Dropout=0.3，最终验证F1稳定在0.90。该案例说明，Transformer架构的迁移学习能力强大，但需要针对领域数据做充分的调参和正则化。
2.2 预训练与微调：两阶段训练范式
核心原理：从通用知识到领域适配
预训练（Pre-training）阶段，模型在海量无标注文本（如维基百科、书籍、网页）上通过自监督学习目标训练。系列采用自回归语言建模（预测下一个），BERT采用掩码语言建模（MLM，随机掩盖15%的并预测）和下一句预测（NSP）。这一阶段的目标是让模型学习语言的通用语法、语义和世界知识。预训练模型如同一个"通才"，具备强大的语言理解与生成基础能力。
微调（Fine-tuning）阶段，模型在特定任务的有标注数据上进行二次训练。全量微调（Full Fine-tuning）更新所有参数，效果通常最好但计算成本高；参数高效微调（PEFT）如LoRA（Low-Rank Adaptation）仅训练少量低秩矩阵，显存占用降低70%以上，且效果接近全量微调。指令微调（Instruction Tuning）则通过"输入-指令-输出"三元组训练模型遵循人类指令，是类模型的关键技术。RLHF（人类反馈强化学习）进一步通过奖励模型优化生成策略，使输出更符合人类偏好。
操作流程：微调决策路径
- 评估数据规模：若标注数据少于1000条，优先考虑提示工程（Prompt Engineering）或上下文学习（In-Context Learning），而非微调。
- 选择微调策略：数据量在1万-10万条时，LoRA或P-Tuning是性价比最高的选择；超过10万条且领域差异大时，可考虑全量微调。
- 确定训练超参数：学习率通常设为1e-5至5e-5（全量微调）或1e-4至5e-4（LoRA）；批次大小受显存限制，一般使用梯度累积。
- 验证与迭代：在验证集上监控损失和任务指标（如F1、BLEU），防止过拟合。
案例拆解：基于LLaMA的金融知识图谱问答微调
背景与约束：某券商需要构建智能投顾助手，回答关于财报数据、行业研报的问题。约束条件：① 数据合规要求，不能将数据发送至外部API；② 标注数据有限，仅8000条问答对；③ 推理延迟需小于2秒。
初始现象：直接使用开源LLaMA-7B进行零样本推理，回答准确率仅52%，且经常混淆不同公司的财务指标。
关键输入与参数：使用LoRA微调，配置如下：
# LoRA 微调配置示例
from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(
r=16, # 低秩矩阵的秩
lora_alpha=32, # 缩放因子
target_modules=["q_proj", "v_proj"], # 仅调整注意力层的Q和V
lora_dropout=0.1
)
# 训练参数：学习率3e-4，批次大小8，梯度累积4步，训练3个epoch分析判断过程：将知识图谱中的结构化三元组（如"贵州茅台-2023年营收-1500亿"）转化为自然语言文本，与问题拼接作为训练输入。微调后，模型学会了在生成答案时优先引用图谱中的事实，而非仅凭记忆。
结果对比：微调后准确率提升至87%，推理延迟1.2秒（使用4-bit量化部署）。相比全量微调，LoRA节省了约85%的GPU显存（从4×A100降至1×A100）。
风险与复盘：初期尝试全量微调导致灾难性遗忘（模型忘记通用对话能力），回退至LoRA后解决。经验：在领域数据量不足时，参数高效微调是更安全的选择。
2.3 主流大模型简介与选型指南
核心原理：模型家族谱系
当前主流大模型可分为三大谱系：系列（，闭源商业模型）确立了"缩放定律"（Scaling Law）和RLHF训练范式；BERT系列（Google，开源）奠定了预训练+微调在理解任务上的基础；LLaMA系列（Meta，开源）证明了高质量开源模型的可能性，带动了本地化部署和领域微调的热潮。此外，T5（Google）作为编码-解码模型的代表，在文本转换任务上仍有独特价值。国内模型如ChatGLM、Qwen、DeepSeek等，在中文优化和工具调用方面表现突出。
对比分析：模型选型决策表
| 模型 | 参数量 | 开源 | 上下文长度 | 中文能力 | 推理成本 | 典型应用 |
|---|---|---|---|---|---|---|
| 未公开（约1.8T） | 否 | 128K | 优秀 | 高 | 通用助手、复杂推理 | |
| BERT-base | 110M | 是 | 512 | 良好 | 极低 | 实体识别、分类 |
| LLaMA-2-7B | 7B | 是 | 4K | 一般（需中文微调） | 低 | 本地部署、领域微调 |
| Qwen-14B | 14B | 是 | 32K | 优秀 | 中 | 中文场景、工具调用 |
| T5-base | 220M | 是 | 512 | 一般 | 低 | 文本转换、摘要 |
选型判断方法
- 数据隐私要求：若数据不能出域，必须选择开源模型（LLaMA、Qwen）进行本地部署。
- 任务类型：纯生成任务优先/LLaMA；理解+抽取任务BERT更高效；转换任务考虑T5。
- 硬件预算：7B模型在FP16精度下需约14GB显存，4-bit量化后仅需约4GB，可在消费级显卡运行。
- 中文场景：Qwen、ChatGLM在中文分词、成语理解上优于同规模LLaMA。
案例拆解：知识图谱增强的LLaMA-2模型部署
场景：某电商平台构建商品知识图谱（包含商品属性、用户评价、关联推荐），并希望大模型能基于图谱回答"这款手机和那款相比，拍照优势在哪里？"这类问题。
方案：采用LLaMA-2-13B作为基座，通过LoRA微调使其学会调用图谱查询接口。具体实现：在输入中注入图谱检索到的候选事实，模型生成答案时优先参考这些事实。部署时使用vLLM推理框架，通过PagedAttention优化显存，单张A10（24GB）即可支撑20路并发请求，平均首延迟0.8秒。
结果：回答准确率从纯模型的68%提升至91%，且答案中引用的数据均可溯源至图谱节点，增强了可信度。复盘发现，关键成功因素在于微调数据中包含了"图谱检索-答案生成"的配对样本，使模型学会了如何利用外部知识。