第3章 学习排序（LTR）面试题：Pointwise/Pairwise/Listwise、特征设计、模型评估
排序是搜索系统的核心环节。面试官从三个层次考察：方法选择（Pointwise/Pairwise/Listwise）、特征设计（如何融合多源信号）、评估体系（离线/在线指标及其陷阱）。掌握对比框架与可迁移话术是关键。
知识结构速览：LTR核心对比
| 维度 | Pointwise | Pairwise | Listwise |
|---|---|---|---|
| 优化目标 | 文档独立打分（回归/分类） | 文档对相对顺序 | 整体排序质量（NDCG等） |
| 示例模型 | GBRT, 深度网络回归 | RankNet, LambdaRank | ListMLE, LambdaMART |
| 优缺点 | 简单但忽略排序关系 | 更贴合排序，但正负样本偏置 | 最贴近业务，计算复杂 |
| 适用场景 | 粗排/弱排序要求 | 精排候选集 | 最终排序/需最优NDCG |
面试问题 1：请对比Pointwise、Pairwise、Listwise三种LTR方法的优缺点及适用场景。
面试官考察点： 对LTR方法本质的理解、能否结合实际场景选型、对排序业务认知。
回答框架：
- 定义三者核心区别：优化对象（单个文档 / 文档对 / 文档列表）。
- 分别简述优缺点（可结合表格中的要点）。
- 给出推荐场景：粗排用Pointwise，精排用Pairwise/Listwise，高NDCG要求用Listwise。
- 补充：Listwise中LambdaMART是工业界经典。
示例回答： Pointwise将排序视为回归或分类，如GBRT预测相关分，简单但忽略文档间顺序。Pairwise比较文档对，如RankNet，更适合排序任务，但正负文档不均衡时易偏置。Listwise直接优化最终排序指标，如LambdaMART，效果最优，但训练复杂度高。工业精排多用Pairwise+Listwise组合。
可能追问： “为什么LambdaMART能直接优化NDCG？误差函数如何设计？” “实际项目中你怎么选择？”
面试问题 2：在LTR中如何设计有效的特征？请举例说明。
面试官考察点： 特征工程能力、对搜索场景数据理解、交叉特征与归一化实践。
回答框架：
- 分三大类：文本特征（TF-IDF、BERT向量）、用户行为特征（点击率、停留时间、转化率）、上下文特征（位置、设备、时间）。
- 强调特征交叉与归一化：相同文档不同query下的交叉特征（如query-doc相似度），数值特征做log/clamp归一化。
- 举例：电商搜索“手机”，有效特征包括“历史点击CTR”、“是否在标题精确匹配”、“价格比用户均价偏差”。
- 注意避免数据泄露（如用未来行为预测当前）。
示例回答： 我通常设计三类特征：文本相关（BM25、语义向量cosine）、行为统计（item月点击率、用户历史同品类CTR）、上下文特征（页面位置、是否广告位）。重点做交叉特征，如“query-doc类目匹配度”，确保数值特征归一化到[0,1]或做分桶。在电商搜索中，“价格离散度”和“品牌匹配度”很有效。
可能追问： “如何处理位置偏差（position bias）？” “特征稀疏或缺失时怎么办？”
面试问题 3：如何评估一个排序模型的效果？常用指标有哪些？注意哪些坑？
面试官考察点： 对排序评估体系的理解、离线指标与在线指标的关系、常见陷阱的意识。
回答框架：
- 离线指标：NDCG、MAP、MRR（针对不同排序深度）。
- 在线指标：CTR、人均点击次数、转化率、GMV等。
- 注意点：位置偏差校正、长尾query表现、冷启动效果、指标置信度（统计检验）。
- 强调离线与在线可能不一致，需要A/B实验验证。
示例回答： 离线常用NDCG@10和MAP评估排序质量，尤其NDCG对位置加权更合理。同时监控长尾query的map@50。在线看CTR、用户停留时长和转化。特别注意：离线ndcg提升未必带来线上转化增长，必须做A/B实验。另外要处理position bias，常用IPW或随机展示收集无偏数据。
可能追问： “NDCG与MAP有什么本质区别？什么时候应该用MRR？” “如何设计A/B实验避免干扰？”
项目案例：电商搜索排序模型优化（LTR）
| 项目名称 | 电商全站搜索排序模型从GBDT升级至LambdaMART |
| 业务背景 | 搜索转化率低于竞品，用户点击偏爱高价商品，长尾商品曝光不足。 |
| 规模指标 | 日活跃Query 5000万，在线商品数1.2亿；离线训练样本10亿对；线上NDCG@10提升3.2%，GMV提升2.1%。 |
| 技术栈 | TensorFlow（排序模型）、XGBoost（pairwise基线）、Flink（实时特征）、Redis（特征缓存）。 |
| 核心难点 | ① 用户行为偏置（位置偏差+价格偏差） ② 长尾query样本稀疏 ③ 特征实时性与延迟优化。 |
| 面试高频追问 | 1. 如何解决position bias？——引入IPW权重或训练bias模型。 2. 为什么用LambdaMART不用ListMLE？——LambdaMART天然可优化NDCG且对异常值鲁棒。 3. 特征如何在线更新？——Flink窗口聚合+特征快照回填。 |
可迁移回答话术： “在处理排序模型时，我首先通过无偏数据（如随机曝光）估计位置偏置权重，用IPW修正训练样本。然后再采用LambdaMART对NDCG进行直接优化，同时引入Query级别的归一化特征。离线评估确认提升后，分bucket上线A/B实验，最终带动GMV增长。这种‘偏置修正+指标对齐’的思路可以迁移到任何排序场景。”