2. LLM文本生成基础

在评估LLM文本生成质量之前，我们必须先理解其生成机制与任务形态。文本生成并非单一操作，而是涵盖摘要、对话、翻译、创作等多种任务类型，每种任务对模型的能力要求与评估维度截然不同。本章将系统梳理生成任务分类、自回归生成原理、主流模型架构差异，并建立“任务-模型-评估”的对应关系，为后续质量评估打下坚实基础。

上图展示了本章的核心知识框架：自回归生成原理作为底层机制，支撑起摘要、对话、翻译、创作四大任务类型，而不同模型架构（Decoder-only、Encoder-Decoder）在不同任务上各有优势，最终所有生成结果都需要通过多维度的质量评估来检验。下面我们逐一深入。

2.1 生成任务类型全景

2.1.1 摘要生成：信息压缩与忠实度挑战

核心原理：摘要生成旨在将长文本压缩为短文本，同时保留关键信息。分为抽取式（提取原文句子）和生成式（重新组织语言）两种。生成式摘要更灵活，但面临“忠实度”风险——模型可能生成原文没有的信息（幻觉）。

判断方法：评估摘要质量时，除ROUGE等自动指标外，必须人工检查：

• 忠实度：摘要中的每个事实是否都能在原文中找到依据
• 信息覆盖：核心实体、事件、数据是否保留
• 冗余度：是否出现重复表述或无关信息

2.1.2 对话生成：多轮一致性与角色约束

核心原理：对话生成需要模型理解多轮上下文，维持话题一致性，并遵循角色设定。与单轮生成不同，对话系统必须处理指代消解（“它”指什么）、意图延续和情感连贯。

操作流程：评估对话质量时，建议采用“双轨制”：

1. 单轮质量：回复是否相关、信息量是否充足、语言是否自然
2. 多轮一致性：模型是否记住前文信息、是否出现自相矛盾、是否偏离角色

2.1.3 机器翻译：跨语言映射与语义保真

核心原理：翻译任务要求模型在保持语义不变的前提下，将源语言映射为目标语言。现代LLM采用“端到端”方式，直接生成目标语言文本，而非传统统计机器翻译的短语拼接。

判断方法：翻译质量评估需区分“充分性”和“流畅性”：

• 充分性：原文信息是否完整传达（有无漏译、误译）
• 流畅性：译文是否符合目标语言表达习惯

2.1.4 创意创作：开放性与可控性的平衡

核心原理：创作任务（故事、诗歌、广告文案）要求模型在遵循用户指令（主题、风格、字数）的前提下，生成新颖且连贯的内容。与摘要、翻译不同，创作没有“标准答案”，评估更依赖主观判断。

操作流程：创作质量评估建议采用“多维评分卡”：

1. 指令遵循度：是否满足格式、主题、风格要求
2. 内容连贯性：情节发展是否合理、逻辑是否自洽
3. 语言表现力：词汇丰富度、修辞运用、节奏感
4. 新颖性：是否落入俗套或抄袭常见桥段

2.2 生成原理：自回归与注意力机制

核心原理：绝大多数现代LLM采用自回归（Autoregressive）生成方式：模型逐个预测下一个，将已生成的作为输入，继续预测后续。数学表达为：

P(x_1, x_2, ..., x_n) = ∏ P(x_t | x_1, x_2, ..., x_{t-1})

这种机制决定了生成质量的两个关键特性：

• 单向依赖：每个只能看到左侧上下文，无法利用右侧信息（与BERT的双向编码不同）
• 误差累积：早期生成的错误会传播到后续内容，导致“雪崩效应”

判断方法：理解自回归原理对评估至关重要——当生成文本出现逻辑断裂时，我们应回溯检查前文是否存在误导性信息。例如，模型在故事开头将主角设定为“女性”，后续却使用“他”指代，这往往源于早期的性别信息未被有效编码。

2.3 常见模型架构与选型

核心原理：当前主流LLM分为三大架构，各有适用场景：

操作流程：模型选型应遵循“任务优先”原则：

1. 明确任务类型：是封闭式（摘要/翻译）还是开放式（创作/对话）
2. 评估资源约束：Decoder-only模型通常推理成本更高
3. 测试领域适配：在垂直领域（法律、医疗）需验证专业术语处理能力

2.4 案例拆解：多任务模型选型与评估实践

背景与约束：某新闻聚合平台需要构建内容生成系统，包含三个子任务：新闻摘要（300字以内）、多轮对话问答（基于新闻内容）、多语言翻译（中→英/日）。团队资源有限，只能选择一个基础模型进行微调。

初始现象与目标：初步测试发现，使用Decoder-only模型（Qwen-7B）在对话任务上表现优秀，但摘要存在幻觉问题；使用T5-Large在摘要上更忠实，但对话连贯性不足。目标是在一个模型上平衡三任务质量。

关键输入数据与指标：

• 测试集：500篇新闻（中文），每篇配有人工摘要、10轮对话记录、中英日三语翻译
• 评估指标：摘要ROUGE-L、对话人工评分（1-5分）、翻译BLEU

分析判断过程：

1. 对比Qwen-7B与T5-Large在摘要任务上的ROUGE-L：Qwen为38.2，T5为41.5，差距显著
2. 检查Qwen摘要的幻觉案例：发现12%的摘要包含原文未提及的数据
3. 对话任务上，T5的连贯性评分仅3.2，Qwen为4.1

实际操作步骤：

1. 选择Qwen-7B作为基础模型，因其对话能力难以替代
2. 针对摘要幻觉问题，引入“摘要-原文一致性”后处理校验模块：生成摘要后，用NLI模型检查摘要中的每个事实三元组是否被原文蕴含
3. 对翻译任务，添加术语表约束，在解码时强制术语映射

结果对比：经过优化后，Qwen-7B的摘要ROUGE-L提升至40.8（接近T5），幻觉率降至3%；对话评分保持4.0；翻译BLEU从28.5提升至31.2。虽然摘要仍略逊于T5，但整体三任务综合得分最高。

风险与代价：后处理校验增加了约15%的推理延迟；术语表需要人工维护，每周更新一次。

复盘经验：单一模型难以在所有任务上达到最优，但通过“生成+校验”的混合策略，可以在保持核心能力的同时弥补短板。评估时不应只看单一指标，而应建立“任务加权综合分”来指导选型。

2.5 常见误区与总结复盘

误区一：忽视任务类型差异，用同一套评估标准。例如用BLEU评估对话生成，或只用ROUGE评估创作质量。正确做法是建立任务专属评估矩阵。

误区二：过度依赖自动指标。ROUGE和BLEU与人类判断的相关性有限，尤其在创意任务中。建议采用“自动筛选+人工抽检”的混合流程。

误区三：忽略生成原理对质量的影响。不理解自回归的误差累积特性，就无法解释为什么长文本后半部分质量下降。评估时应按文本位置分层统计错误率。

误区四：模型选型只看参数规模。7B模型在对话任务上可能优于13B的Encoder-Decoder模型。选型应基于任务类型和评估结果，而非盲目追求大参数。