📚 课程目录第2章高频面试问题与回答框架

高频面试问题与回答框架

推荐模型评估岗的面试常围绕三大核心：指标理解、实验设计、业务归因。下面这张回答框架图带你建立「问题拆解→逻辑建构→落地表达」的闭环。

  💡 使用提示：面试中按“背景→方法→瓶颈→结论”顺序组织答案，每个节点控制在2~3句话内，确保逻辑衔接紧密。

面试问题	设计一套推荐系统的离线评估指标体系，你会从哪些维度入手？
面试官考察点	系统性思维、指标间权衡（如准确率vs多样性）、业务对齐能力。
回答框架	1. 业务目标拆解（留存/时长/转化）； 2. 核心指标池（Accuracy、Recall、NDCG、Coverage、Serendipity）； 3. 指标取舍原则（如NDCG优先于AUC当用户反馈偏序关系重要时）； 4. 健康度监控（样本偏差、指标一致性）。
示例回答	“我会分三个层次：业务层（如人均时长）、算法层（NDCG@K、Recall）、体验层（多样性、新颖性）。以短视频推荐为例，NDCG@10为主指标，Coverage确保小众内容不被淹没，同时用Pairwise指标监控排序一致性。” (98字)
可能追问	NDCG和AUC在什么场景下出现矛盾？如何处理样本选择偏差？
避坑提醒	❌ 不要只罗列指标，要讲清楚每个指标对应什么业务假设；✅ 可结合具体正负样本分布说明。

面试问题	线上A/B实验发现新模型指标提升但置信区间很宽，你会怎么分析？
面试官考察点	实验设计严谨性、统计知识、归因能力。
回答框架	1. 检查分流均匀性与样本量； 2. 利用bootstrap分析指标分布； 3. 细分用户群看效果异质性； 4. 检查网络效应（如用户间干扰）； 5. 延长实验周期或做AA测试验证。
示例回答	“先看分流是否均衡（如AA差异过大需修正），再用bootstrap计算指标稳定性。如果置信区间主要因为头部用户波动，可分层随机；若存在网络效应，切换为switchback实验。” (70字)
可能追问	分层随机和普通随机有什么区别？什么时候用双边检验？
避坑提醒	❌ 不要只靠p值下结论；✅ 务必提及实际业务可接受的效应量（MDE）。

面试问题	模型迭代过程中，如何判断新模型比旧模型“更优”？
面试官考察点	多指标综合判断、trade-off处理、长期vs短期。
回答框架	1. 设定主指标（如CTR）与约束指标（如多样性不降）； 2. 使用配对t检验或卡方检验看显著性； 3. 评估“胜出比例”（如80%用户受益）； 4. 长期效果用Holdout window观察滞后收益； 5. 制定退出规则（如指标下降超阈值自动回滚）。
示例回答	“我们采用“主指标显著提升+约束指标不下降”标准。例如CTR提升0.5%显著且点击多样性下降<2%，才允许全量。同时通过3天Holdout window看用户次日留存，防止短期提升长期损伤。” (96字)
可能追问	如果主指标提升但约束指标下降你如何决策？如何定义“用户受益”？
避坑提醒	❌ 不要只看单点指标，要建立综合评分卡；✅ 可举例说明“用户分层收益差异”。

📊 高频问题分类表：以下按公司侧重点整理常见评估面试题类型，便于针对性准备。

公司类型	常见问题方向	侧重点与加分项
字节跳动（信息流）	时长/ROI/活跃度如何拆解到评估指标？	强调用户侧收益 vs 平台侧收益平衡；可用边际成本分析。
阿里巴巴（电商）	GMV vs 用户体验如何权衡？离线模拟线上手段？	重视离线-在线一致性（如画像对齐），可用replay模拟。
腾讯（社交/内容）	多样性、信息茧房、社交关系影响的评估策略？	关注社交网络效应与隐私限制；need hierarchy分群分析。
美团/滴滴（LBS）	邻近性、时效性、多目标（价格/距离）排序评估？	实时特征偏差分析、离线仿真与线上gap归因。

⚠️ 常见坑位：回答时切忌“只有指标没有业务”，比如只说“我用NDCG”而不讲为什么在当前场景下NDCG比MAP更适合。每个指标背后都要有业务逻辑。