第2章 高频面试问题与回答框架
面试官常通过几个经典问题快速判断候选人的指标理解、实验设计思维和业务对齐能力。本章拆解三大高频问题的考察点、回答结构及公司侧重点，帮助你清晰、结构化地表达评估思路。
面试问答卡片
📌 问题1：请介绍一次你优化搜索算法评估指标的经历
| 面试官考察点 | 是否理解评估指标与业务目标的关联；能否逻辑清晰地说明优化前问题、分析过程、实验验证及最终效果；是否具备指标拆解和归因能力。 |
| 回答框架 | STAR 框架 背景 (S): 搜索场景 + 当前指标瓶颈 目标 (T): 明确要提升的指标（如 NDCG@p、CTR） 行动 (A): 分析用户行为 → 发现问题（如数据偏差）→ 提出优化方案（如改进采样或加权）→ 设计实验 结果 (R): 量化提升幅度 + 对线上业务的实际影响 |
| 简短示例回答 | “在电商搜索中，我们发现 ATC（加购率）明显高于转化率。拆解后发现召回阶段热门商品过度曝光导致评估指标虚高。我们改用去偏后的 NDCG，并加入转化加权，使得离线评估与线上 A/B 实验的相关系数从 0.3 提升至 0.9，最终线上 GMV 提升 2.1%。” |
| 可能追问 | ① 你如何验证新指标与线上一致性？② 如果两个指标冲突（如 NDCG 提升但点击率下降），你怎么办？③ 对长尾查询如何处理指标偏移？ |
| 避坑提醒 | ❌ 只提 AUC 提升不提业务收益；忽略了统计学显著性；没有说明为什么选择这个指标而不是其他。 |
📌 问题2：如何设计A/B测试来评估搜索算法效果？
| 面试官考察点 | 实验设计完整度（分流、随机化、存活偏差）；指标选择与统计方法；对实验周期和样本量的判断；是否能预判常见陷阱（如网络效应、辛普森悖论）。 |
| 回答框架 | 六步结构 1. 明确实验假设与关键指标（第一优先级 + 护栏指标） 2. 分流方案：用户 ID hash / 分层随机化 / 避免交集 3. 样本量计算：基于基线指标方差和预期提升 4. 实验时长：考虑新奇效应和周一至周日周期 5. 分析：双样本 t 检验 / 曼-惠特尼 U 检验 + 多重比较校正 6. 结果落地：显著正向且护栏指标不退化时全量 |
| 简短示例回答 | “假设要测试新的 re-ranking 模型，我们按用户 id 随机分流 5% 作为实验组，5% 作为对照组。根据 CTR 基线 8% 提升 10% 需要 20 万用户样本，运行 14 天。使用 Bonferroni 校正，最终实验组 CTR 提升 11.3% (p<0.001)，且时长、跳出率无显著变化，全量后 GMV 提升 3%。” |
| 可能追问 | ① 如果实验组和对照组人数不等怎么办？② 如何处理用户组间交互的网络效应？③ 什么情况下可以使用 AA 测试？ |
| 避坑提醒 | ❌ 忽略样本量计算直接跑实验；仅看主指标忽略护栏指标；实验周期过短导致新奇效应误判。 |
📌 问题3：搜索算法评估中指标很多，如何确定核心指标？
| 面试官考察点 | 指标分层思维（技术指标→用户行为→业务目标）；是否能提取北极星指标并权衡多个目标；对业务理解是否深入。 |
| 回答框架 | 指标分层树 顶层：北极星指标（如 GMV / 留存） 中间层：用户行为指标（CTR、转化率、点击后停留时长） 底层：技术指标（NDCG、MRR、召回率、F1） 优先级：业务目标 > 用户行为 > 技术指标；使用加权组合或帕累托最优 |
| 简短示例回答 | “在视频搜索中，我们将核心指标定为‘完播率’（业务目标），因为它直接关联用户满意度和广告收入。技术指标如 Recall@20 只作为守门指标（不低于阈值）。通过组合 NDCG + 完播率权重的复合指标，离线评估与线上互动率的 kendall tau 达到 0.85。” |
| 可能追问 | ① 如何平衡短期指标（CTR）和长期指标（留存）？② 多目标优化时权重如何设定？③ 如果业务方坚持只看 GMV，你怎么说服？ |
| 避坑提醒 | ❌ 追求单一指标导致“指标优化但业务受损”；忽略不同场景（新人、老用户、长尾查询）指标权重差异。 |
公司侧重点对比
💡 核心提示： 面试时主动将指标评估与业务目标挂钩，展示你不仅能设计实验，还能推动业务决策。提前了解目标公司的指标体系（如 Google 的 NDCG@10、字节的互动率），能显著提升匹配度。