第1章 岗位能力画像与简历优化模板
本章系统梳理AIGC模型评估工程师的核心能力维度，并提供简历关键词清单与量化成果句式，帮助你在面试中精准展示匹配度。
核心心法：能力画像决定简历方向，关键词匹配筛过率，成果句式拉开面试差距
简历关键词清单
| 能力维度 | 简历关键词 | 面试高频考点 |
|---|---|---|
| 模型评估方法论 | 自动评估、人工标注、对比测试、A/B评估、评估流程搭建 | 如何选择评估维度？人工评估标注体系如何设计？ |
| 数据与指标分析 | BLEU、ROUGE、Perplexity、FID、CLIP Score、准确率/召回率 | 各指标适用场景？指标与人工评分相关性分析？ |
| 大模型原理 | Transformer、、Llamma、Stable Diffusion、扩散过程 | 模型生成机制？hallucination成因？评估难点？ |
| 编程与工具链 | Python、PyTorch、Hugging Face、WandB、MLFlow、Docker | 如何搭建评估pipeline？实验管理与复现？ |
| 业务理解沟通 | 需求分析、评估报告、指标解释、跨团队协作 | 如何让非技术人员理解评估结果？ |
成果量化句式模板
- 动词 + 指标 + 对比：通过引入人工评估体系，将评估一致性从0.72提升至0.89，降低25%误报率。
- 动词 + 规模 + 效率：搭建自动化评估pipeline，覆盖500+测试用例，评估时长从2天压缩至4小时。
- 动词 + 方法论 + 业务影响：设计多维度评估框架（流畅性/安全性/相关性），帮助业务方提前识别80%的生成风险。
简历中每个项目至少包含一个“动词+数字+业务价值”的量化句，优先使用“提升/降低/覆盖/缩短”等强结果动词。
高频面试问答（3题）
问答1：评估一个AIGC模型的生成质量
📌 面试问题：请描述你如何评估一个AIGC模型的生成质量？
🎯 考察点：评估方法论体系、指标选型能力、人工评估设计、综合分析思维。
回答框架：① 明确评估目标与任务场景；② 选择自动指标（BLEU/FID等）并说明理由；③ 设计人工评估维度（流畅性、相关性、安全性等）与评分流程；④ 结合统计分析与一致性检验给出结论。
📝 示例回答：我会先区分任务。文本生成用BLEU/ROUGE评估n-gram重合，同时请3名标注员对流畅性、相关性打分（1-5分），计算ICC一致性指数。图像生成用FID、CLIP Score，并做用户满意度调研。自动指标与人工评估互补，最后汇总矛盾案例进行badcase分析。
- 可能追问：自动指标与人工评价冲突时如何处理？
- 避坑提醒：不要只说指标名称，要说明每个指标选用的原因和局限性；人工评估必须提标准化流程（标注指南、一致性检验）。
问答2：BLEU和ROUGE的具体应用场景
📌 面试问题：你在简历中提到使用了BLEU、ROUGE等指标，能具体说明在什么场景下使用吗？
🎯 考察点：指标原理理解、场景适配能力、对指标局限性的认知。
回答框架：① 对比BLEU（精度）与ROUGE（召回）核心差异；② 分别举例适用任务（BLEU用于机器翻译，ROUGE用于摘要）；③ 承认局限性（对语义不敏感），并说明补充方案。
📝 示例回答：BLEU侧重n-gram精确匹配，用于机器翻译评估；ROUGE侧重召回率，常用于文本摘要。例如在对话生成任务中，我更倾向ROUGE-L，因为它能捕捉长序列匹配。但我深知它们对语义和语法不敏感，所以会补充人工评分和BERTScore等语义指标。
- 可能追问：为什么不在文本摘要任务中使用BLEU？
- 避坑提醒：避免说“只用了一个指标”，要展示多渠道互补思路。
问答3：人机协同评估方式的看法
📌 面试问题：你如何看待AIGC模型评估中的“人机协同”评估方式？
🎯 考察点：对评估体系前沿的理解、落地设计能力、效率与质量平衡。
回答框架：① 定义人机协同（自动指标初筛 + 人工精评 + 反馈闭环）；② 说明价值（降低人工成本、提升评估效率）；③ 举例真实场景（先用规则/模型过滤明显badcase，人工仅评估边界样本）。
📝 示例回答：人机协同是落地较优解。首先用自动指标或少量分类模型初筛，筛出高分样本由人工快速审核，低分样本直接重排；对中等得分样本进行细粒度人工评分。我曾在项目中用此方法，将人工评估量减少60%，同时保持评估准确率在95%以上。
- 可能追问：如何确定人工与自动的分界线？
- 避坑提醒：不要说“完全依赖人工”或“完全依赖自动”，要体现分层策略；最好带出你实际落地的数据（如减少多少人力）。
评估岗位面试容易陷入“只讲指标不讲场景”的陷阱，务必每个回答都绑定具体业务场景与你的决策逻辑。