三、大模型工作原理：、上下文窗口、注意力机制、温度与采样参数对输出的影响
作为提示词工程师，理解大模型内部的工作机制是写出高质量提示词的前提。大模型并非真正“理解”人类语言，而是通过数学概率对文本进行建模与生成。本章将深入拆解四个核心概念：（词元）、上下文窗口（Context Window）、注意力机制（Attention Mechanism）以及温度与采样参数（Temperature & Sampling Parameters）。只有深刻理解这些底层逻辑，你才能解释为什么同样的提示词在不同参数下会产生截然不同的输出，也才能有策略地控制模型行为，而不是盲目试错。
3.1 核心原理： 与上下文窗口
是模型处理文本的基本单位。它既不是字符，也不完全等同于单词。 可以是完整的英文单词（如 "apple"）、单词的一部分（如 "un"、"believ"）、中文的单字或词组（如 "大"、"模型"），甚至是一个标点符号。模型通过词表（Vocabulary）将 映射为唯一的数字 ID，再将这些 ID 转换为向量（Embedding）进行数学计算。例如，句子“提示词工程”可能被切分为 ["提示", "词", "工程"] 三个 ，而英文 "Prompt Engineering" 可能被切分为 ["Prompt", " Eng", "ineering"]。
上下文窗口（Context Window）是模型单次推理时能“看到”的最大 数量。它决定了模型在生成下一个 时，可以回溯多少历史信息。如果输入内容超过窗口限制，模型通常会截断最早的部分（或报错）。例如， 的 8K 版本窗口为 8192 ，而 128K 版本则能处理更长的文档。对于提示词工程师而言，上下文窗口是硬性约束——你必须确保提示词与用户输入的总 数在窗口范围内，否则关键信息可能被截断。
| 概念 | 定义 | 对提示词设计的影响 |
|---|---|---|
| 文本切分的最小单元，映射为数字ID | 中文约 1 字 ≈ 1-2 ；英文 1 词 ≈ 1-2 。需估算提示词长度 | |
| 上下文窗口 | 模型单次推理可处理的最大 数 | 超出窗口会被截断；重要指令应放在开头或结尾（“Lost in the Middle”现象） |
| 截断策略 | 超出窗口时，模型丢弃最早或最远的 | 关键约束条件应前置，避免被截断 |
3.2 注意力机制：模型如何“关注”关键信息
注意力机制（Attention Mechanism）是 Transformer 架构的核心。简单来说，模型在生成每个 时，会计算当前 与上下文窗口中所有其他 的“关联度”（即注意力权重）。关联度高的 会对生成结果产生更大影响。例如，在句子“小明把苹果放在桌上，然后他拿起了____”中，模型会通过注意力机制将“小明”和“苹果”与“他”建立强关联，从而预测下一个词是“苹果”而非“桌子”。
对于提示词工程师，注意力机制意味着：提示词中关键信息的位置和表达方式会影响模型的关注程度。研究表明，模型对上下文窗口开头和结尾的内容关注度更高，而中间部分容易被“忽略”（即 Lost in the Middle 现象）。因此，核心指令应放在提示词的开头或结尾，而非埋在长段背景描述中间。
<instruction>、---）来标记关键指令，可以帮助模型更精准地分配注意力。例如：
<instruction>
请总结以下会议纪要，输出 3 条行动项。
</instruction>
会议内容：
（此处粘贴长文本）3.3 温度与采样参数：控制输出的随机性与多样性
模型在生成 时，会计算词表中每个 的概率分布。但模型并非总是选择概率最高的 （即贪心解码），而是通过采样（Sampling）策略引入随机性。温度（Temperature）是控制随机性的核心参数。温度越低（如 0.1），概率分布越尖锐，模型越倾向于选择高概率 ，输出更确定、更保守；温度越高（如 1.5），概率分布越平滑，低概率 被选中的机会增大，输出更多样、更有创造性，但也更容易产生逻辑错误或胡言乱语。
除了温度，还有两个常用采样参数：Top-p（核采样）和 Top-k。Top-p 会从概率最高的 开始累积，直到累积概率超过 p 值（如 0.9），然后只从这些 中采样；Top-k 则只从概率最高的 k 个 中采样。它们与温度共同作用，限制采样的候选范围。
| 参数 | 取值范围 | 效果 | 适用场景 |
|---|---|---|---|
| Temperature | 0 ~ 2（常用 0.1-1.0） | 低值→确定性高；高值→随机性强 | 代码生成、数据提取用低值；创意写作、头脑风暴用高值 |
| Top-p | 0 ~ 1（常用 0.8-0.95） | 限制候选 的累积概率范围 | 需要控制输出质量时，与温度配合使用 |
| Top-k | 正整数（如 10-50） | 只从概率最高的 k 个 中采样 | 防止模型选择极低概率的“离谱” |
temperature=0.7, top_p=0.9 开始。如果输出过于发散，降低温度至 0.3；如果输出过于死板，提高温度至 1.0。注意，温度与 Top-p 并非互斥，它们可以同时设置，但不要同时调得过高，否则输出会完全失控。
3.4 案例拆解：参数调优如何影响提示词输出
假设你正在设计一个“产品文案生成器”的提示词，要求模型为一款智能手表生成 3 条卖点文案。初始提示词如下：
你是一位资深文案专家。请为以下智能手表生成 3 条卖点文案，每条不超过 20 字。
产品特点：长续航（14天）、血氧监测、5ATM防水。初始现象：使用默认参数（temperature=1.0, top_p=1.0），模型输出如下：
1. 续航两周，告别充电焦虑！
2. 血氧守护，健康尽在腕间。
3. 潜水级防水，陪你探索深蓝。输出质量尚可，但第 3 条“潜水级防水”存在夸大风险（5ATM 仅支持游泳，不支持潜水）。分析判断：温度过高导致模型选择了低概率但“吸睛”的词汇“潜水级”，而忽略了事实约束。
实际操作：将参数调整为 temperature=0.3, top_p=0.85，并增加一条指令“必须严格基于产品特点，不得夸大”。重新生成：
1. 14天超长续航，出差无忧。
2. 血氧监测，随时了解身体状态。
3. 5ATM防水，游泳佩戴无压力。结果对比：输出更加准确、保守，但缺乏创意。进一步将温度调至 0.6，并保留 top_p=0.9，得到折中效果：
1. 两周续航，摆脱电量焦虑。
2. 腕上血氧仪，健康看得见。
3. 5ATM防水，泳池与雨中皆从容。风险与代价：低温度虽然保证了准确性，但可能让文案显得平淡；高温度则可能引入事实错误。作为提示词工程师，你需要根据业务场景（如广告法合规要求）权衡参数选择。
复盘经验：参数调优不是一次性工作。建议建立“参数-输出质量”对照表，记录不同任务的最佳参数组合。同时，在提示词中明确约束条件（如“不得夸大”），比单纯调低温度更有效。
3.5 常见误区与总结
- 误区一：认为温度越高越好。高温度会破坏逻辑一致性，尤其在代码生成、数学计算等任务中，应使用接近 0 的温度。
- 误区二：忽略上下文窗口的“中间遗忘”问题。将关键指令放在长文本中间，可能导致模型“视而不见”。应使用“指令前置”或“指令后置”策略。
- 误区三：混淆 与字数。中文 1000 字可能对应 1500-2000 ，而英文 1000 词可能对应 1300-1500 。务必使用 Tokenizer 工具验证。
- 误区四：同时调高温度和 Top-p。这会导致候选 范围过大，输出近乎随机。建议先固定一个参数，再调整另一个。