第3章：Transformer与Attention机制深度面试
本章聚焦于Transformer核心机制的高频面试题，涵盖从经典公式推导到各类Attention变体的对比，以及在实际大模型中的应用与优化。面试官通过这些问题考察候选人对原理的深度理解、推导能力以及工程落地思维。
面试问题1：请详细推导缩放点积注意力公式，并解释为什么需要除以 √d？
面试官考察点：数学功底与直觉理解，能否从方差角度解释缩放原因。
回答框架：写出公式 → 说明 Q/K/V 含义 → 推导点积方差 → 解释缩放避免梯度消失。
示例回答：注意力分数为 softmax(QKᵀ/√d)。设 d 为隐层维度，Q 和 K 各分量独立同分布且方差为 σ²，则点积方差为 d·σ²。除以 √d 使方差稳定在 σ²，避免 softmax 进入饱和区。以 中 d=768 为例，若不缩放 softmax 输出趋近 one-hot，梯度极弱。
可能追问：如果不除以 √d，对训练收敛有何具体影响？用其他缩放因子行不行？
避坑提醒：不要只背公式，要动态说明 Q/K 的分布假设；避免与 layer norm 的缩放混淆。
面试问题2：多头注意力相比单头注意力的优势在哪？头数如何选取？
面试官考察点：对多头机制的理解，参数效率与表征能力权衡。
回答框架：多头使模型关注不同子空间 → 低秩投影降低计算量 → 头数选取与 d 同时调整 → 实践规则。
示例回答：多头注意力将 Q/K/V 分别投影到 h 个子空间，每个头独立计算注意力后拼接。优势：1) 捕获不同位置、不同语义的交互；2) 每个头维度 d/h，计算量与单头 O(n²d) 相比仅略增（拼接加线性）。头数默认 12 或 16，随着 d 增大而增加，通常保持每头维度 64 左右。
可能追问：头之间会冗余吗？有没有剪枝头数或动态头数的尝试？
避坑提醒：不要说“头越多越好”，要提计算成本与效果平衡，并举出经典中的头数设定。
面试问题3：解释自注意力机制中的位置编码，为什么 ROPE 比位置编码更好？
面试官考察点：对位置信息的理解以及最新变体的掌握程度。
回答框架：位置编码的必要性 → 位置编码（Sinusoidal/学习式）的局限 → ROPE 的旋转实现 → 相对位置建模优势。
示例回答：自注意力不具备位置感知。位置编码为每个位置分配唯一向量，但无法泛化到更长序列。ROPE 通过旋转矩阵将位置信息注入 Q/K 点积：Q_m·K_n = (R_m Q)·(R_n K)⁻ = QᵀRₘ₋ₙK，点积只依赖相对距离。在 LLaMA 中实测支持 2k+ 长度外推。
可能追问：ROPE 如何实现跨注意力？它与 ALIBI 有何异同？
避坑提醒：不要仅提名字，要画出示意图或说明旋转公式；避免说 ROPE 没有参数，其实旋转矩阵是确定的。
项目案例：基于 Transformer 的千亿参数语言模型训练与推理优化
| 维度 | 内容 |
|---|---|
| 项目名称 | 大规模 Transformer 模型（1.2B → 175B）训练与推理系统 |
| 业务背景 | 服务于智能客服、代码生成等场景，需支持长文本（8k tokens）生成，延迟 ≤200ms |
| 规模指标 | 训练数据 3TB（英/中）；模型参数 175B；训练使用 4096 张 A100 80GB，训练约 60 天；推理 QPS 要求 500 |
| 技术栈 | PyTorch + Megatron-LM + DeepSpeed ZeRO-3 + FlashAttention + TensorRT-LLM |
| 核心难点 | 1) 长序列注意力显存爆炸（O(n²)）；2) 千亿参数分布式通信开销；3) 推理时 KV Cache 管理 |
| 面试高频追问 | 【追问1】FlashAttention 如何实现 IO 感知？ 【追问2】ZeRO-3 与张量并行如何联合使用？ 【追问3】推理时如何压缩 KV Cache？ |
| 可迁移回答话术 | “在面对长序列场景时，我们采用 FlashAttention 分块计算，将显存复杂度从 O(n²) 降至 O(n)；通信方面使用张量并行 + ZeRO-3 混合策略，先按层切分再参数分片；推理则引入 Multi-Query Attention 和 Cache 量化，使延迟降低 40%。” 该话术可迁移至任何大模型训练/推理优化问题。 |