预训练模型选型与微调策略面试
本章聚焦面试中最高频出现的模型选型与微调策略问题。核心考察三个层次：模型对比维度（如何选择基座）、微调方法决策（全量 vs PEFT）、参数高效调优原理（LoRA 等）。掌握本章内容可应对从基础到进阶的微调相关面试题。
| 评估维度 | 关键指标 | 面试高频关注点 |
|---|---|---|
| 任务类型匹配 | 对话 / 生成 / 分类 / 代码 | 基座架构与任务对齐度 |
| 模型规模权衡 | 7B / 13B / 70B | 效果上限与推理成本的平衡 |
| 数据适配度 | 词表覆盖率 / 分词器效率 | 领域 OOV 率、压缩比 |
| 部署约束 | 显存 / 延迟 / 量化支持 | 推理吞吐与硬件成本 |
| 生态兼容 | 社区活跃度 / 工具链 | 迭代效率与风险控制 |
💡 读图指引：面试回答时从"任务→模型→方法→调优"逐层展开，展示系统性决策思维。
📌 面试问题 1：实际项目中如何选择预训练基座模型？需考虑哪些关键维度？
🎯 面试官考察点：选型系统性思维、工程落地意识、是否仅关注参数量。
📐 回答框架：
- 任务类型匹配 — 对话/生成/分类选择对应架构（如 ChatGLM 适合对话）
- 模型规模权衡 — 7B/13B 平衡效果与显存成本
- 数据适配验证 — 词表覆盖率与领域 OOV 率
- 部署约束评估 — 推理延迟、量化支持、硬件限制
- 生态兼容考量 — 社区活跃度、工具链完善度
✏️ 简短示例回答：
选型需综合任务类型（对话选 ChatGLM，代码选 CodeGen）、模型规模（7B 效果与成本平衡）、数据适配（词表覆盖率 >95%）、部署约束（支持 INT4 量化）及生态兼容（社区活跃度）。建议从任务需求反向选择，而非仅比较参数量。
🔍 可能追问：
- LLaMA 和 ChatGLM 的核心差异是什么？为什么金融场景选后者？
- 如何量化评估词表覆盖率？OOV 率高有什么影响？
- 7B 和 13B 在推理成本上具体差多少？
⚠️ 避坑提醒：不要只比参数量大小，忽视词表覆盖和推理成本；不要忽略生态兼容性，社区活跃度直接影响迭代效率。