第2章 高频面试问题与回答框架
广告模型评估工程师面试中，面试官最关注候选人对指标含义、离线/在线评估体系、A/B测试实战的深度理解。本章拆解三大必考题，提供结构化回答框架，并给出各公司侧重点与面试官画像。
问答卡片一：AUC与GAUC的区别及应用
问题：请解释AUC和GAUC的区别，并说明在广告排序中如何选用。
简短示例：“AUC衡量模型对全局样本的排序能力，数值范围0.5~1，越高越好；GAUC是以用户为单位计算AUC后按曝光量加权平均，更能反映个性化场景下的排序效果。在广告重排序中，GAUC与线上业务指标（如CPM、CTR）相关性更强，因此我们以GAUC作为核心离线指标，AUC作为辅助参考。”
追问：GAUC的计算中如何处理曝光量为0的用户？如果GAUC高但线上A/B测试负向，可能是什么原因？
问答卡片二：离线评估体系设计
问题：如何为一套广告模型设计完整的离线评估体系？请列举关键指标。
简短示例：“我的评估体系分四层：第一层模型性能（AUC、LogLoss、Calibration）；第二层排序一致性（NDCG、MAP）；第三层业务模拟（GAUC、离线CPM预估偏差）；第四层鲁棒性（特征覆盖率、样本分布漂移检测）。关键指标是GAUC和Calibration，因为GAUC直接关联线上排序，Calibration保证出价合理性。此外，每周会做一次数据回放，对比新旧模型在历史数据上的累计收益变化。”
追问：离线CPM预估偏差如何计算？如果发现Calibration偏移严重，你会怎么排查？
问答卡片三：A/B测试流量分割与辛普森悖论
问题：A/B测试中如何保证流量分割的公平性？遇到辛普森悖论如何处理？
简短示例：“我采用两层分流策略：第一层按用户ID哈希均匀分流，确保实验组和对照组在用户特征上无显著差异；第二层在实验内部按流量比例随机分配。同时每天做夜间AA测试，检查差异是否在统计显著范围内。若出现辛普森悖论（如整体无显著差异但各子群相反），我首先检查是否因流量分配不均导致，然后对子群做分层分析，用邦费罗尼校正调整P值，最后根据业务优先级决定是否合并指标或重新设计实验。”
追问：夜间AA测试的样本量要求？如果AA测试发现P值<0.05，你会怎么处理？辛普森悖论中哪些子群的权重决定了整体结论？
公司侧重点对比
| 公司 | 侧重点 | 高频考察方向 |
|---|---|---|
| 字节跳动 | 实时性、CTR预估、ECPM | GAUC计算细节、在线学习与离线评估的差异 |
| 腾讯广告 | 预算分配、多维度评估 | A/B测试分流策略、多维交叉分析 |
| 阿里妈妈 | GMV、搜索与推荐统一 | 离线到线上的迁移能力、Calibration与出价联动 |
面试官画像
- 技术深度型：喜欢追问公式推导和数学定义，如AUC的Wilcoxon秩和解释、GAUC的权重计算。
- 业务导向型：注重指标与收入/用户留存的关系，会问“离线提升1%GAUC，线上预估能涨多少营收？”
- 工程落地型：关心你是否有线上排查经验，比如数据倾斜、特征穿越、样本延迟怎么处理。
通用回答框架（总结）
面对任何模型评估问题，建议遵循 “理解问题 → 定义指标 → 对比优劣 → 业务场景 → 工程落地 → 总结升华” 六步法。核心原则：先定性，再定量；先理论，再实践；先共性，再个性。 每步控制在30秒内，整体回答2~3分钟，留出时间给面试官追问。