📚 课程目录第4章大模型训练与微调面试

大模型训练与微调面试：分布式训练、LoRA、RLHF

本章聚焦面试中三大核心考点：分布式训练原理与策略、LoRA高效微调机制、RLHF对齐技术。掌握结构化回答框架，用项目实战案例体现深度。

回答路径解读：从面试问题出发，分别切入分布式训练、LoRA、RLHF三大技术方向；回答中必须融入项目经验和避坑案例，体现对工程落地和训练稳定性的理解。

考察点：基础原理理解、技术选型能力、显存计算意识。

回答框架：定义区别 → 适用场景对比 → 选择依据（模型规模、显存、通信开销）→ 实践案例。

示例回答：数据并行复制模型，每卡处理不同数据，适合小模型；模型并行切分层，减少单卡显存；ZeRO通过分片优化器状态实现近线性扩展。我们训练175B模型时采用ZeRO-3+流水线并行，显存节省80%。

可能追问：ZeRO三个阶段分别优化什么？通信瓶颈如何解决？

避坑提醒：勿混淆ZeRO与模型并行概念；一定要带上具体算力、显存和加速比数字。

考察点：参数高效微调理解、原理推导、超参数敏感度。

回答框架：低秩分解思路 → 与Adapter对比 → 优势（显存、速度、不遗忘）→ rank经验值。

示例回答：LoRA冻结预训练权重，插入低秩矩阵A×B，训练时仅更新Adapters。7B模型全参微调需要60GB显存，LoRA仅需16GB；rank一般选8~64，我们实验显示rank=32在代码生成任务上F1提升0.5%。

可能追问：LoRA初始权重如何初始化？为什么用低秩而非全秩？

避坑提醒：不要只说“减少参数”，要指出训练时只更新A/B，推理时可合并到原权重中。

考察点：强化学习基础、奖励模型训练、对齐控制。

回答框架：奖励模型训练 → PPO四步循环（采样/计算advantage/更新策略/KL惩罚）→ 稳定性措施。

示例回答：先训练Reward Model拟合人类偏好，PPO用旧策略采样新输出，通过GAE计算advantage，添加KL散度惩罚防止模型飘移。我们采用reward归一化和动态clip，将震荡从±0.3降为±0.05。

可能追问：为什么需要KL惩罚？PPO和DPO区别？

避坑提醒：RLHF对reward scale和KL系数非常敏感，回答时要强调调试经验，避免理论空谈。

业务背景	基于开源CodeLlama 13B开发企业级代码生成助手，需对齐内部编码规范且控制微调成本。
规模指标	模型参数量13B；训练数据50K对话对；RLHF阶段使用2万偏好对；使用4×A100 80GB训练。
技术栈	DeepSpeed + Megatron-LM（分布式训练），HuggingFace PEFT（LoRA），Trlx库（RLHF）。
核心难点	①13B模型LoRA后RLHF显存仍超40GB；②reward模型过拟合导致PPO震荡；③分布式通信瓶颈。
面试高频追问	如何确定LoRA rank？RLHF训练时reward scaling怎么调？为什么不直接全参数微调？
可迁移回答话术	“我们通过消融实验发现rank=16时效果与全量微调相当，但显存节省60%；reward模型采用对比学习预训练+dropout，震荡从0.4降到0.05。”

本章小结：分布式训练重选型与调优，LoRA重原理与rank选择，RLHF重稳定与对齐。面试时用项目数字替代空泛描述，用对比分析展示思考深度。