第3章 词向量与预训练语言模型
词向量与预训练语言模型是NLP面试的"必考板块"，覆盖从Word2Vec静态词向量到BERT、等动态预训练模型。面试官通过这类问题考察你对表示学习的理解深度、模型选型的工程思维，以及技术演进的宏观视野。本章提炼出一套通用回答框架，配合3道高频真题，帮你快速建立答题结构。
面试问答卡片
📝 面试问答 1/3：Word2Vec 模型选择
面试问题：Word2Vec 中 CBOW 和 Skip-gram 的核心区别是什么？在实际应用中如何选择？
| 面试官考察点 | 对静态词向量的理解深度，是否清楚两种模型的训练效率、低频词处理差异及选型依据。 |
| 回答框架 | 定义区别 → 训练效率对比 → 低频词处理差异 → 选型建议 |
示例回答：CBOW 通过上下文预测中心词，训练速度快，对高频词更友好；Skip-gram 通过中心词预测上下文，训练较慢但能更好捕捉低频词语义。小数据集选 CBOW，大数据集或重视低频词选 Skip-gram。
可能追问：负采样如何实现？层级 Softmax 的原理和优势？Word2Vec 与 GloVe 的本质区别？
⚠ 避坑提醒：不要只背定义，要谈实际选型考量。务必区分清楚"上下文预测中心词"和"中心词预测上下文"的方向，面试中经常有人答反。
📝 面试问答 2/3：BERT vs 架构对比
面试问题：BERT 是如何实现双向上下文编码的？与 的自回归方式有何本质区别？
| 面试官考察点 | 对预训练模型架构的理解深度，是否掌握 Masked LM、Attention 掩码等关键机制。 |
| 回答框架 | 核心机制 → 架构差异 → 训练方式不同 → 适用场景对比 |
示例回答：BERT 通过 Masked LM 随机掩盖 15% 的 并用双向 Attention 预测，实现深度双向编码； 使用因果 Attention 从左到右自回归建模。BERT 擅长 NLU 任务， 擅长 NLG 任务，两者架构设计本质不同。
可能追问：BERT 的 Mask 策略有哪些变体（RoBERTa 动态 Mask）？XLNet 如何结合自回归与双向？
⚠ 避坑提醒：不要只说"BERT 是双向的"，要具体说明 Masked LM 和 Attention 掩码的实现。避免将"双向"误解为简单拼接两个方向。
📝 面试问答 3/3：预训练模型落地挑战
面试问题：在实际项目中，预训练语言模型落地面临哪些主要挑战？你会如何解决？
| 面试官考察点 | 工程落地与模型优化能力，是否具备推理加速、模型压缩的实战经验。 |
| 回答框架 | 挑战列举 → 原因分析 → 解决方案 → 效果权衡 |
示例回答：主要挑战有推理延迟高、显存占用大、领域分布偏移。解决方案包括知识蒸馏（DistilBERT 减少 40% 参数）、INT8 量化（加速 2–3 倍）、结构化剪枝和领域微调。需根据业务场景做精度-速度权衡。
可能追问：你实际做过模型压缩吗？用了什么方法？压缩比和精度损失是多少？
⚠ 避坑提醒：不要只罗列技术名词，要结合具体项目说明方案选型理由和实际收益。准备好精度、速度、显存等量化指标。