第3章 大模型核心基础：Transformer架构、注意力机制、预训练与微调原理
章节定位：“大模型三大基石”是面试最高频考点，考察对模型结构、计算机制、训练范式的理解深度。
复习策略：三分原理 + 七分表达 —— 能用简短比喻讲清复杂机制，才是加分点。
复习策略：三分原理 + 七分表达 —— 能用简短比喻讲清复杂机制，才是加分点。
🎯 面试问题 1：请解释 Transformer 的整体架构，并说明为什么它成为大模型的基础？
| 考察点 | 是否理解 Encoder-Decoder 结构差异？是否清楚自注意力、多头、FFN、残差、LayerNorm 的作用？能否解释“并行计算”带来的效率优势？ |
| 回答框架 | 1. 总体结构：Encoder (6层) + Decoder (6层)，每层含自注意力、FFN、残差&层归一化。 2. 关键组件：①自注意力：Q/K/V 计算权重；②多头注意力：在不同子空间捕捉；③位置编码：弥补无序；④FFN：非线性变换；⑤残差&层归一化：稳定训练。 3. 为何成为基础：并行代替RNN时序，长距离依赖建模强，适合大规模分布式训练。 |
| 示例回答 | “Transformer 由堆叠的 Encoder 和 Decoder 组成，核心是自注意力机制。Encoder 每个子层包含‘自注意力 + FFN’，均加残差和层归一化。它通过 Q×K 点积计算注意力权重，再用 V 加权求和；多头使模型从不同表示子空间学习。相比 RNN，它可并行计算所有位置，避免了梯度消失，且长距离依赖更优。这是 、BERT 等大模型的基础架构。” |
| 可能追问 | ①为什么需要位置编码？用位置还是相对位置好？②自注意力的计算复杂度 O(n²) 如何优化（稀疏注意力、线性注意力）？③Decoder 的 masked self-attention 有什么作用？ |
| 避坑提醒 | ❌ 忌“背教材式”从头到尾念结构 —— 面试官希望听到“为什么这样设计”。 ✅ 主动点出“残差连接让深层训练可行，LayerNorm 稳定梯度，FFN 提供非线性”。 |
🎯 面试问题 2：详细描述自注意力 (Self-Attention) 的计算过程，并说明多头注意力相比单头有哪些优势？
| 考察点 | 是否真正理解 Q/K/V 矩阵含义、缩放因子 √d_k 的作用、多头并行的动机。 |
| 回答框架 | 1. 基本公式：Attention(Q,K,V) = softmax( Q·Kᵀ / √d_k ) · V 2. 步骤：①输入 X 映射为 Q/K/V；②计算 Q·Kᵀ 得到相似度（缩放防止梯度消失）；③softmax 归一化；④与 V 加权求和。 3. 多头优势：①学习不同位置的子空间模式（语法/语义/位置）；②提供更多“注意力头”的并行通道；③增强模型容量而不显著增加计算量（各头可并行）。 |
| 示例回答 | “自注意力利用 Q 和 K 的点积计算 间相关性，除以 √d_k 避免内积过大导致 softmax 梯度饱和。每个 的输出是对所有 V 的加权和，权重由相似度决定。多头注意力将 Q/K/V 线性投影到 h 个子空间，分别计算注意力后再拼接。好处是每个头可以关注不同的语义维度，比如一个头捕捉语法关系，另一个头捕捉长距离依赖。” |
| 可能追问 | ①为什么用缩放因子 √d_k 而不是其他值？②Self-Attention 和 Cross-Attention 的区别？③多头注意力在实践中的常见头数配置？ |
| 避坑提醒 | ❌ 不要只说公式 —— 需要结合例子解释加权求和的实际含义。 ✅ 可以举例：“‘我’的注意力会分配给‘吃’和‘苹果’，但权重不同”。 |
🎯 面试问题 3：对比介绍预训练（Pre-training）和微调（Fine-tuning）的原理，以及当前主流的微调策略有哪些？
| 考察点 | 是否理解预训练-微调范式的动机，能否区分全参数微调、LoRA、Adapter 等策略的优劣。 |
| 回答框架 | 1. 预训练：在超大规模无标注语料上训练通用语言知识（如的language modeling / BERT的masked LM）。 2. 微调：在预训练模型基础上，用下游小规模标注数据调整参数，适配特定任务。 3. 主流策略：①全参数微调（效果好但资源高）；②LoRA (低秩适配器)：冻结原参数，只训练低秩矩阵；③Adapter：插入小型瓶颈网络；④Prompt Tuning：只优化输入模板。 |
| 示例回答 | “预训练通过自监督学习让模型获得通用语言表征，微调则利用下游任务数据定向调整。全参数微调更新所有权重，但显存需求大。LoRA 在注意力层的权重上加低秩分解矩阵，训练参数量仅为原模型的 0.1%~1%，效果接近全参数微调。Adapter 则在每层后插入小型网络。选择策略需平衡硬件成本、数据量和效果要求。” |
| 可能追问 | ①LoRA 中的 rank r 如何选择？②为什么微调时通常冻结前几层？③预训练和微调的数据分布 mismatch 怎么办？ |
| 避坑提醒 | ❌ 不要只罗列方法名称 —— 需要说明“为什么 LoRA 能节省内存”。 ✅ 指出“低秩矩阵的参数量 = 2×d×r，r< |
🏗️ 项目案例：智能客服大模型微调 & 推理部署
| 项目名称 | 某电商平台智能客服大模型（基于LLaMA-7B微调） |
| 业务背景 | 替代传统FAQ机器人，支持多轮对话、订单查询、售后纠纷理解，提升客服处理效率 40% |
| 规模指标 | 训练数据：50万条客服对话（中文，对话轮均3.2）；模型参数量7B；推理延迟<300ms/轮；日请求量120万+ |
| 技术栈 | HuggingFace Transformers, LoRA (QLoRA), DeepSpeed, PyTorch, vLLM 推理, NVIDIA A100 40G x 4 |
| 核心难点 | ①客服数据噪声大、领域术语多；②7B模型微调显存瓶颈（采用QLoRA 4bit量化）；③多轮对话长上下文（分段+注意力窗口优化）；④延迟与吞吐平衡（使用vLLM + 连续批处理） |
| 面试高频追问 | ①QLoRA的量化策略是什么（NF4 vs FP4）？②如何设计prompt template来适配多轮对话？③微调时学习率如何调节？④推理时如何做日志过滤？ |
| 可迁移回答话术 | “我们选用LOeRA是为了在单卡A100 40G上微调7B模型，rank设为8，alpha=16，目标模块为q_proj和v_proj。数据清洗环节做了去重、长度过滤、敏感词替换。推理时采用vLLM的page attention降低显存碎片，最终P99延迟240ms，符合上线标准。” |
💡 项目表达技巧：面试时先说明“为什么微调而不是训练全参数”（资源约束 + 数据量），再说“如何保证回复质量”（人工评估+RLHF模拟），最后说“上线效果”（指标提升）。用STAR逻辑包装。
⚠️ 本章复习重点：
• Transformer 架构图必须能手绘（面试可能要求在白板画）
• 自注意力的计算过程能用一句话概括（“查询匹配键得到权重，加权值得到输出”）
• 微调策略的对比表要熟记：LoRA / Adapter / Prefix Tuning / Full Fine-tune
• 项目案例中的“为什么选LoRA而不是Adapter”是高频追问，提前准备好理由。
• Transformer 架构图必须能手绘（面试可能要求在白板画）
• 自注意力的计算过程能用一句话概括（“查询匹配键得到权重，加权值得到输出”）
• 微调策略的对比表要熟记：LoRA / Adapter / Prefix Tuning / Full Fine-tune
• 项目案例中的“为什么选LoRA而不是Adapter”是高频追问，提前准备好理由。