2. 大模型基础与对齐概述

在深入PPO与RLHF的算法细节之前，我们必须先厘清大模型生命周期中三个经常被混用的核心阶段：预训练（Pre-training）、微调（Fine-tuning）与对齐（Alignment）。这三者并非简单的先后顺序关系，而是目标、数据、算力成本和评估方式截然不同的工程阶段。理解它们之间的边界与联系，是掌握RLHF（基于人类反馈的强化学习）的前提——因为RLHF既不是传统意义上的微调，也不是从零开始的训练，而是一种专门用于“对齐”的技术路径。本章将系统拆解这三个阶段的核心原理、操作差异，并明确RLHF在整个人工智能对齐版图中的坐标。

2.1 预训练：让模型学会“语言”

核心原理

预训练是大模型能力的基石。其目标函数极其简单——给定前文序列，预测下一个的概率分布。通过在海量互联网文本（通常为数万亿）上进行自监督学习，模型内部逐步压缩出语法、事实知识、推理雏形和上下文理解能力。这一阶段产出的模型通常被称为Base Model（基座模型），它具备强大的文本续写能力，但无法“听懂”指令，更不具备对话交互的格式感。

关键特征与判断方法

• 数据规模：通常为TB级纯文本，无需人工标注，但需经过清洗、去重、毒性过滤。
• 算力成本：以数千张A100/H100训练数月为典型配置，成本高达数百万美元。
• 评估方式：主要看困惑度（Perplexity）和下游任务零样本/少样本表现。
• 判断标准：如果模型只能续写文本、无法遵循“请回答……”的指令，说明仍处于预训练阶段。

常见误区

很多人误以为预训练模型“什么都会”，实际上它只是“什么都见过”。它缺乏指令遵循和交互格式的能力。预训练阶段的目标是压缩知识，而非服务用户。如果跳过后续阶段直接部署，用户体验将非常糟糕。

2.2 微调：让模型学会“回答问题”

核心原理

监督微调（Supervised Fine-tuning, SFT）使用人工标注的指令-回答对对基座模型进行有监督训练。其本质是让模型学习人类期望的交互格式和任务模式。例如，输入“请解释什么是梯度下降”，期望输出是一段结构化的、以“梯度下降是一种优化算法……”开头的回答。SFT通常需要数万到数十万条高质量标注数据，训练成本远低于预训练。

操作流程与判断方法

1. 数据构建：收集真实用户指令或人工编写指令，配以专家撰写的标准答案。
2. 训练配置：使用较小的学习率（如1e-5），冻结部分底层参数或使用LoRA等参数高效微调技术。
3. 验证标准：模型是否能够稳定地遵循指令格式，不再“答非所问”。
4. 质量检查：人工抽检模型在未见过的指令上的表现，确认格式正确且内容基本合理。

对比维度	预训练	监督微调（SFT）	对齐（RLHF）
核心目标	语言建模能力	指令遵循与格式	价值观与安全性
数据形式	无标注文本	指令-回答对	偏好排序（好/坏回答）
训练方式	自监督（Next Prediction）	有监督（交叉熵损失）	强化学习（PPO）或对比学习（DPO）
算力需求	极高（数千GPU·月）	中等（数十GPU·天）	较高（数百GPU·天）
评估指标	困惑度、下游任务准确率	指令遵循率、人工评分	人类偏好胜率、安全红队测试
典型产物	Base Model	SFT Model	RLHF Model（如）

案例拆解：SFT的局限

假设我们微调一个客服机器人。SFT阶段我们提供了1万条“用户投诉-客服回复”数据。训练后模型能够礼貌地回复“非常抱歉给您带来不便，我们会尽快处理”。但当我们输入“你们产品真垃圾”时，模型依然会机械地回复“非常抱歉……”，而不会根据上下文判断用户是否在表达愤怒、是否需要升级处理。这说明SFT只学会了格式，没有学会判断什么回答更好。更严重的是，SFT模型可能产生“幻觉”——一本正经地编造不存在的政策条款，因为训练数据中并没有告诉它“不知道时应该承认不知道”。

2.3 对齐：让模型学会“符合人类价值观”

核心原理

对齐（Alignment）关注的是模型行为是否符合人类意图、安全准则和伦理规范。它不满足于“回答正确”，而是要求“回答得体、安全、无害、有帮助”。RLHF（基于人类反馈的强化学习）是当前最主流的对齐技术路径，其核心思想是：先训练一个奖励模型来模拟人类偏好，再用强化学习（如PPO）优化策略模型，使其输出在奖励模型上获得更高分数。

RLHF的三阶段流程

1. 训练奖励模型（RM）：收集人类对同一提示词下多个模型输出的偏好排序（如A优于B优于C），训练一个打分模型。
2. 策略初始化：以SFT模型作为强化学习的初始策略。
3. PPO优化：让策略模型生成回答，奖励模型打分，通过PPO算法更新策略参数，同时加入KL散度惩罚防止模型偏离SFT太远。

案例拆解：RLHF如何解决SFT的“幻觉”问题

假设SFT模型面对“你们公司退款政策是什么？”时，由于训练数据中未包含该信息，模型可能编造“支持30天无理由退款”。在RLHF阶段，我们让模型生成多个回答，并请标注员排序：回答A“我们支持30天无理由退款”（编造） vs 回答B“抱歉，我暂时没有查到相关退款政策，建议您联系客服确认”（诚实）。标注员更倾向于B，因为B更安全、更诚实。奖励模型学会这一偏好后，PPO会逐步提高模型生成B类回答的概率。经过数万次迭代，模型学会了“不确定时承认不确定”的价值观。

常见误区与复盘

• 误区一：认为RLHF可以替代SFT。实际上RLHF需要SFT作为起点，没有SFT的模型连基本的指令格式都不具备，RLHF无从优化。
• 误区二：认为对齐是一次性工作。随着模型能力增强和部署场景变化，需要持续收集新偏好数据重新训练RM和策略模型。
• 误区三：忽略KL散度惩罚。如果PPO更新幅度过大，模型会“钻奖励模型的空子”，生成高分但语义重复或无意义的文本。

2.4 RLHF在整体技术栈中的定位总结

从工程视角看，预训练、SFT、RLHF构成了一个递进式的能力塑造链路：预训练提供“知识底座”，SFT赋予“交互格式”，RLHF注入“价值判断”。三者缺一不可，且不可颠倒顺序。RLHF并非唯一对齐方法，DPO（直接偏好优化）、RLAIF（AI反馈强化学习）等新方法也在兴起，但PPO+RM的框架仍是工业界最成熟、效果最稳定的方案。

在后续章节中，我们将深入PPO的数学原理、奖励模型训练细节、KL散度控制、优势函数计算等核心内容。但请始终记住：PPO只是实现对齐的工具，对齐的目标是让模型成为“对人类有帮助、诚实、无害”的智能体。理解这一宏观定位，才能避免在算法调参中迷失方向。