第1章 岗位能力画像与简历优化模板
广告算法模型评估工程师是连接模型研发与业务效果的“质检员”与“分析师”。面试的核心是考察你是否能系统性地定义指标、诊断问题、驱动迭代。本章帮你拆解岗位能力要求，并给出可直接套用的简历框架和问答模板。
简历结构模板
| 模块 | 核心内容 |
|---|---|
| 个人信息 | 姓名、教育背景、技术栈（Python/SQL/Spark/BI工具） |
| 工作经历 | 每段按“项目背景→评估目标→方法→结果→业务影响”展开，每点必须用量化指标 |
| 项目精选 | 2-3个高相关项目：模型诊断、AB实验、指标体系建设、异常归因 |
| 技能/工具 | 指标体系（AUC/GAUC/MAE/NDCG）、实验平台（XA/B、Overlap）、因果推断（DID/PSM） |
关键词清单（简历 & 面试高频）
- 评估体系：线上离线一致性、GAUC vs AUC、Long-term Metric、代理指标
- 诊断方法：残差分析、PSI/CSI、特征重要性衰减、分群评估、错误驱动（Error Analysis）
- 实验设计：分流冲突、SRM（Sample Ratio Mismatch）、网络效应、EE（Explore-Exploit）
- 工程落地：离线pipeline、特征回溯、模型快照、校准层、线上trace
成果量化句式（直接替换）
| 场景 | 贫瘠表达 | 量化改写 |
|---|---|---|
| 指标调优 | 提升模型效果 | 通过分群评估发现CTR头部偏差，校准后GAUC提升0.8%，业务曝光CTR+2.3% |
| 异常排查 | 解决线上异常 | 定位SRM由特征穿越导致，设计延迟校验逻辑，日均挽回约120万次无效曝光 |
| 体系搭建 | 建立评估流程 | 从0搭建广告创意评估体系，覆盖6个业务线，累计推动16个模型版本迭代，ROI平均提升7% |
问答一：如何描述你的模型评估经验？
公司侧重点：大厂（字节/腾讯/阿里）看重端到端闭环——从离线分析到线上验证再到业务归因；小厂更关注快速定位能力。
面试官画像：资深模型评估负责人/算法TL，通常对指标细节极度敏感，会追问“为什么选GAUC而不是AUC？”
回答框架：
- 场景交代：“在一个广告CTR模型迭代项目中，负责模型上线前的全面评估。”
- 指标与方法：“采用离线GAUC + 线上A/B实验，同时监控长周期ROI和冷启动物料的KPI。”
- 结果与洞察：“发现推荐头部物料GAUC提升但长尾物料下降，通过分群拆解定位为特征分布偏移，调整校准后整体GAUC+0.6%。”
简短示例：“在视频推荐CTR模型迭代中，离线GAUC提升0.5%，但线上A/B实验却无收益。我通过分时段、分用户群交叉分析，发现夜间低活跃用户模型偏差过大，加入时间衰减权重后线上GAUC持平，次日留存+0.3pp。”
追问：“为什么不直接用线上实验代替离线评估？” “离线GAUC提升但线上无收益的根因还有哪些？”
避坑：❌ 不要只说“我跑过A/B实验”，要展示你主动拆解问题；❌ 不要拿全量指标掩盖分群差异。
问答二：你如何构建评估指标体系？
公司侧重点：商业变现部门注重收入/时长/留存三角；增长部门更关注激活/次留/用户价值。
面试官画像：业务导向型Leader，会验证你提取指标是否与业务目标强相关。
回答框架：
- 业务目标拆解：“先明确产品阶段（拉新/促活/商业化），再映射到可量化的北极星指标。”
- 指标分层：“第一层：核心指标（如GMV/DAU）；第二层：过程指标（如点击率/转化率）；第三层：诊断指标（如曝光EE率、请求超时率）。”
- 权衡与补充：“短期指标与长期指标冲突时，引入反向护栏指标（如CPM下降但用户投诉量不能超阈值）。”
简短示例：“在广告召回场景，北极星是广告收入。我建立三层体系：收入→CTR×CVR×出价效率；诊断用请求成功率、超时占比、模型覆盖度。当CTR提升但收入下降时，通过分广告主分析发现头部竞价胜率被挤压，新增了竞价失败归因指标。”
追问：“冷启动没有历史数据，你的指标怎么设计？” “正负样本不平衡时，用哪些指标更稳健？”
避坑：❌ 不要只罗列AUC、GAUC等模型指标，要说出业务衔接着的点；❌ 避免“所有指标都要监控”的无效回答，突出优先级。
问答三：你如何处理模型线上线下不一致？
公司侧重点：直接影响收入和用户体验，大厂通常有专门的“线上线下一致性”专项，面试官会考察你的归因深度。
面试官画像：严谨的算法研究员，常用“有哪些可能的原因？”而非“怎么解决”。
回答框架：
- 定位偏差类型：“先区分是数据偏差（采样/分布）还是特征偏差（实时特征离线不可用）还是模型偏差（过拟合/欠拟合）。”
- 归因分析：“通过AUC差值、PSI、分维度对比（如时间、物料类型）锁定主要矛盾。”
- 校准方案：“常用Platt Scaling或Isotonic Regression，并验证校准后线上线下的GC（Gain Curve）是否收敛。”
- 闭环验证：“将校准后的模型重新推上线，观察业务指标是否正向，同时记录偏差率变化。”
简短示例：“某CVR模型离线AUC 0.78，线上GMV却下降。我排查后发现离线训练用了7天数据，线上实时特征有1分钟延迟。我重新训练时引入时序切片验证，并添加特征回溯逻辑，最终线上与离线趋势一致，GMV恢复+1.2%。”
追问：“如何判断是特征穿越导致的线上线下不一致？” “如果是模型过拟合，你会在离线用什么指标预警？”
避坑：❌ 不要只说“数据不一样就修”，要展示系统性排查过程；❌ 避免将问题简单归因于“线上数据噪声大”，面试官期待你给出可复现的检验方法。
请根据题目