第1章：岗位能力画像与简历优化模板
一、岗位能力画像
二、简历结构模板
| 模块 | 建议内容 | 注意事项 |
|---|---|---|
| 个人信息 | 姓名、联系方式、GitHub/博客 | 避免过多无关信息 |
| 教育背景 | 学校、专业、相关课程（如NLP、机器学习） | 突出高GPA或 |
| 技术栈 | Python、PyTorch、评估框架（如lm-eval-harness）、数据处理 | 按熟练度排序 |
| 项目经历 | 2-3个评估相关项目，用STAR格式 | 量化指标（准确率提升、召回率等） |
| /竞赛 | Top会议、Kaggle/评测比赛名次 | 标明个人贡献 |
三、关键词清单
- 核心技能： LLM评估、Benchmark设计、人类偏好对齐、ROUGE/BLEU/Perplexity、模型鲁棒性、公平性评测
- 工具： lm-evaluation-harness、AlpacaEval、Chatbot Arena、Transformers、vLLM、多轮对话评测
- 业务： 问答系统评测、代码生成评测、安全控制、幻觉检测、Few-shot / Zero-shot评估
四、成果量化句式（示例）
- “设计并实施多维度评估方案，覆盖5个主流大模型在8个Benchmark上的表现，输出对比报告，推动模型迭代后准确率提升12%。”
- “搭建自动化评测流水线，单次评测时间从4小时压缩至45分钟，支撑团队每日快实验证。”
- “构建包含2000条测试样本的领域专用评估数据集，覆盖10个Edge Case，被下游项目采用。”
五、面试问答卡片
面试问题： 请描述大模型评估工程师的核心职责与能力要求。
考察点： 对岗位整体认知、能力框架理解、是否做过系统拆解。
回答框架： 职责分层（指标设计→数据集→评测执行→分析→工具化）+ 能力对应（技术+业务+沟通）。
简短示例回答： “核心职责包括设计评估指标（如准确率、一致性）、构建多样化测试集、实施评测并分析结果，最后推动模型迭代。需要掌握NLP基础、评测框架（如lm-eval-harness）、数据分析和跨团队协作能力。”
可能追问： 你如何看待主观评估与客观评估的取舍？
避坑提醒： 不要只罗列技能，要突出“为模型改进提供可行动洞见”的价值闭环。
面试问题： 你如何设计一个高质量的大模型评估数据集？
考察点： 数据质量意识、覆盖场景设计、防止数据泄露与bias。
回答框架： 业务目标驱动→样本多样性（领域、难度、格式）→质量控制（人工校验+交叉验证）→持续更新版本。
简短示例回答： “首先明确评估目标（如中文对话质量），选取1万条多轮对话，覆盖客服、创意写作、知识问答等场景。通过多人标注一致性计算Kappa系数，并预留10%样本做对抗测试，确保数据无记忆泄露。”
可能追问： 如何处理标注不一致？样本量如何确定？
避坑提醒： 避免将通用Benchmark直接套用，必须说明领域适配和去重策略。
面试问题： 请分享一个你使用评估结果推动模型优化的案例。
考察点： 结果解读能力、闭环思维、沟通推进能力。
回答框架： 现象→根因分析→提出改进建议→验证效果→沉淀方法。
简短示例回答： “在评估代码生成模型时发现GitHub类Bug率高于预期。通过错误类型归类，定位到长上下文注意力丢失。建议调整RoPE编码，实验后Bug率降低25%，并形成评估checklist纳入发布流程。”
可能追问： 如果模型改进方向与业务优先级冲突，你如何应对？
避坑提醒： 不要说“模型表现不好就改模型”，要体现系统性诊断和优先级判断。