大语言模型基础：Transformer架构、Tokenization、注意力机制、生成原理与能力边界
要真正掌握提示词工程，不能只停留在“会写指令”的层面，而必须深入理解大语言模型（LLM）的底层运行逻辑。提示词的本质，是通过语言输入去引导一个基于概率的、由数万亿参数构成的复杂系统完成特定任务。如果对模型如何读取文本、如何分配注意力、如何逐字生成内容缺乏认知，提示词工程师就只能在黑暗中摸索。本章将系统拆解大语言模型的四大核心支柱：Transformer架构、Tokenization（分词）、注意力机制、生成原理，并在此基础上明确模型的能力边界——这些边界正是提示词设计策略的出发点。
上图展示了大语言模型从接收文本到生成回复的完整链路。下面我们将逐一深入每个环节，理解其数学直觉与工程意义。
2.1 Transformer架构：自注意力驱动的深度堆叠
核心原理：从RNN到Transformer的范式转移
在Transformer出现之前，循环神经网络（RNN）及其变体（LSTM、GRU）是处理序列数据的主流方案。RNN按时间步顺序处理输入，当前时刻的隐藏状态依赖于上一时刻的输出，这种串行机制导致两个致命问题：长距离依赖的梯度消失（难以捕捉相隔较远的词之间的关联）和无法并行计算（训练效率低下）。2017年，Google团队在《Attention Is All You Need》中提出Transformer架构，彻底摒弃了循环结构，完全依赖自注意力机制（Self-Attention）来建模序列内部的关系。
Transformer的核心由两个子层构成：多头自注意力层（Multi-Head Self-Attention）和前馈神经网络层（Feed-Forward Network, FFN）。每个子层都包裹了残差连接（Residual Connection）和层归一化（Layer Normalization），这种设计使得网络可以堆叠至数十层（如约120层）而不会出现梯度消失。每一层都在对输入向量进行“加工”：注意力层负责捕捉之间的关联，FFN层则对每个的向量进行非线性变换，提取更高阶的特征。
| 特性 | RNN/LSTM | Transformer |
|---|---|---|
| 序列处理方式 | 逐步串行 | 整体并行 |
| 长距离依赖 | 困难（梯度消失） | 直接连接（注意力） |
| 训练速度 | 慢 | 快（可GPU并行） |
| 上下文建模 | 隐状态压缩 | 显式注意力权重 |
| 可解释性 | 弱 | 注意力权重可可视化 |
对提示词工程的启示
理解Transformer的堆叠结构，意味着提示词工程师应当意识到：模型对输入文本的处理是分层递进的。浅层网络捕捉词法和句法特征，深层网络捕捉语义和意图。因此，提示词中的关键信息放置位置会影响模型的理解深度。例如，将核心指令放在提示词的开头和结尾，往往比放在中间更有效——因为注意力机制对序列首尾位置的通常赋予更高的权重。此外，由于FFN层对每个独立处理，模型对结构化输入（如列表、JSON、表格）的解析能力远强于对长段散文的解析，这为提示词的结构化设计提供了理论依据。
2.2 Tokenization：文本的原子化切分
核心原理：BPE与词表构建
Tokenization是将原始文本切分为模型可处理的最小单元——的过程。大语言模型并不直接读取字符或单词，而是使用字节对编码（Byte Pair Encoding, BPE）或其变体（如WordPiece、SentencePiece）将文本切分为子词单元。BPE的核心思想是：从字符级别开始，反复合并出现频率最高的相邻字符对，直到达到预设的词表大小（通常为32,000到100,000个）。
这种切分方式有几个关键特性：
- 处理未登录词：任何单词都可以被拆分为已知的子词，例如"unbelievable"可能被切分为"un"、"believ"、"able"三个。
- 控制词表大小：不需要存储所有单词，只需存储高频子词组合。
- 语言无关性：BPE不依赖语言规则，适用于多语言场景。
Tokenization对提示词工程的影响常被忽视，但至关重要：数量直接决定了API调用的成本（按计费）和上下文窗口的占用。一个英文单词平均约1.3个，而中文一个字可能对应1-2个。更重要的是，切分会影响模型对语义的理解粒度。例如，如果提示词中使用了词表中不存在的罕见拼写，模型可能需要通过多个组合才能理解，这会增加推理的复杂度和出错概率。
操作流程：计数与优化
# 使用 tiktoken库计算数量
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
text = "请用中文写一封商务邮件，主题是项目延期通知。"
tokens = enc.encode(text)
print(f"数量: {len(tokens)}")
print(f"列表: {tokens}")在实际提示词设计中，应养成预算意识。假设模型上下文窗口为8K ，系统提示词占用500 ，用户输入占用2,000 ，那么留给模型生成回复的空间就只剩5,500 。如果输入过长，超出上下文窗口，模型将截断早期内容，导致关键信息丢失。因此，提示词工程师需要学会信息压缩：用更少的表达同样的语义，例如使用缩写、去除冗余修饰词、将长文本转换为结构化摘要。
2.3 注意力机制：模型如何“聚焦”
核心原理：Q/K/V与注意力权重
注意力机制是Transformer的灵魂。其核心思想是：对于序列中的每个，模型计算它与其他所有的相关性，并根据相关性加权聚合信息。具体实现中，每个被映射为三个向量：Query（查询）、Key（键）和Value（值）。Query代表当前“想找什么”，Key代表其他“能提供什么”，Value代表其他“实际提供的信息”。
注意力权重的计算过程如下：
- 将当前的Query与所有的Key做点积，得到相似度分数。
- 将分数除以√d（d为向量维度）进行缩放，防止数值过大。
- 通过Softmax函数将分数归一化为概率分布。
- 用概率分布对Value进行加权求和，得到当前的输出向量。
多头注意力机制则将上述过程重复多次（如12头或32头），每个头关注不同的关系模式：有的头关注语法依赖，有的头关注指代关系，有的头关注语义相似性。这种并行关注机制使得模型能够从多个维度理解文本。
案例拆解：注意力可视化揭示提示词设计要点
假设我们向模型输入提示词：“请将以下句子翻译成英文：'猫坐在垫子上。'”在模型内部，注意力机制会建立如下关联：
- “翻译”与“英文”之间建立强关联，激活翻译任务模式。
- “句子”与后续冒号后的内容建立指代关联，明确翻译对象。
- “猫”、“坐”、“垫子”之间建立语义角色关联（施事、动作、地点）。
这个案例说明：提示词中的任务指令词（如“翻译”、“总结”、“分类”）会作为“任务触发器”，通过注意力机制激活模型在预训练阶段学到的对应能力。因此，提示词中应明确使用这些“触发词”，而不是模糊的表述。例如，“处理一下这个文本”远不如“请对以下文本进行情感分类，输出正面/负面/中性”有效。
2.4 生成原理：自回归与概率采样
核心原理：逐生成与概率分布
大语言模型的生成过程本质上是自回归（Autoregressive）的：模型每次只预测下一个，然后将新生成的拼接到输入序列中，再次进行预测，如此循环直到生成结束标记（EOS ）。在每一步，模型通过Softmax层输出一个覆盖整个词表的概率分布，表示每个作为下一个词的可能性。
关键点在于：模型并不总是选择概率最高的。如果总是选择最高概率（贪心解码），生成结果会趋于保守和重复。因此，实际生成中采用采样策略来平衡确定性与多样性：
| 采样方法 | 原理 | 适用场景 |
|---|---|---|
| 贪心解码 | 每次选概率最高的 | 事实性问答、代码生成 |
| 温度采样 | 通过温度参数T调整概率分布：T>1使分布更平坦（更随机），T<1使分布更尖锐（更确定） | 创意写作（T=0.8-1.2）、对话 |
| Top-k采样 | 只从概率最高的k个中采样 | 防止低概率干扰 |
| Top-p采样（核采样） | 从累积概率超过p的最小集合中采样 | 动态调整候选集大小 |
操作流程：控制生成质量
提示词工程师可以通过在提示词中显式指定生成参数来影响输出质量。例如：
# 提示词中嵌入参数指令
prompt = """
请写一首关于秋天的短诗，要求：
- 风格：含蓄、意境深远
- 长度：4-8行
- 避免使用"落叶"和"秋风"这两个词
- 使用温度参数0.7，Top-p参数0.9
"""虽然模型不会直接读取“温度参数”这个指令，但提示词中的风格约束和内容限制会通过注意力机制影响概率分布，从而间接达到类似温度调节的效果。例如，明确要求“避免使用某些词”会降低这些的概率权重。
2.5 能力边界：提示词设计的约束条件
核心原理：模型的已知局限
大语言模型虽然强大，但存在明确的边界。提示词工程师必须清醒认识到这些边界，才能设计出切实可行的提示词策略：
- 上下文窗口限制：模型只能处理有限长度的输入（如 Turbo为128K ）。超出部分会被截断或忽略。
- 知识截止日期：模型训练数据有截止时间，之后的事件无法感知。
- 幻觉倾向：模型可能生成看似合理但实际错误的内容，尤其在缺乏足够上下文时。
- 数学与逻辑推理薄弱：复杂计算和多步推理容易出错。
- 指令歧义敏感：模糊的指令会导致模型“自由发挥”。
案例拆解：边界意识如何改变提示词设计
场景：某金融科技公司需要LLM自动生成投资分析报告摘要，输入为一份10,000字的财报PDF文本。
初始方案与问题：直接将全文粘贴到提示词中，要求模型“总结这份财报”。结果：输入超出8K上下文窗口，模型只读取了前4,000字，遗漏了关键的财务数据；且模型“自信地”编造了不存在的营收增长率。
分析判断：问题出在两点：一是上下文窗口溢出导致信息截断；二是模型在缺乏完整数据时倾向于用“合理猜测”填补空白。
优化后的提示词策略：
- 预处理压缩：使用文本摘要模型先将10,000字压缩为2,000字的关键信息摘要（保留所有数字和结论）。
- 结构化输入：将摘要按“营收、利润、现金流、风险因素”分节，用Markdown标题分隔。
- 明确约束：在提示词中增加“仅基于以下提供的数据进行总结，不要补充任何外部信息”的指令。
- 验证要求：要求模型在输出末尾列出所有引用的数据点，便于人工核对。
结果对比：优化前，模型输出包含2处事实错误和1处幻觉数据；优化后，输出准确率提升至95%以上，且所有数据均可溯源。
复盘经验：提示词工程的核心不是“让模型更聪明”，而是在模型能力边界内设计最优的输入形式。当任务超出模型能力时，应通过外部工具（如检索增强、计算器、数据库查询）来弥补，而不是期望模型“硬扛”。