4. 离线评估方法:AUC计算、NDCG归一化、离线分割策略、交叉验证

离线评估是推荐模型上线前的核心防线。本章拆解四大评估组件:AUC衡量全局排序能力,NDCG评估Top-K列表质量,离线分割策略决定数据可信度,交叉验证检验模型稳定性。掌握这些方法的原理、计算细节和面试表述,是模型评估工程师的必备技能。

方法 核心用途 计算复杂度 推荐场景适用性 关键注意点
AUC整体排序能力O(n)CTR预估、召回排序对样本分布敏感
NDCGTop-K排序质量O(n log n)推荐列表排序位置折扣设计
时间序列分割数据划分防止泄露O(1)所有推荐场景时间穿越是红线
交叉验证模型稳定性验证O(k)数据充足场景保持分布一致性
离线评估方法回答框架 数据分割 时间序列/随机 AUC计算 整体排序能力 NDCG评估 Top-K排序质量 交叉验证 模型稳定性 结果分析 迭代优化方向 数据分割 → 指标计算 → 模型验证 → 结果分析(闭环迭代)

📌 面试问题:请解释AUC的含义、计算方法及其在推荐模型评估中的应用。

🎯 考察点: 是否理解AUC的本质(排序能力而非准确率);能否说出至少两种计算方法;是否了解AUC在推荐场景中的适用性与局限性。
📐 回答框架:
  1. 定义本质:AUC = ROC曲线下面积 = 随机正样本排在随机负样本前的概率
  2. 计算方法:排序统计法(统计正负样本对中正样本排前的比例)或梯形积分法
  3. 推荐场景:评估CTR预估模型的用户偏好排序能力,值越接近1越好
  4. 局限性:对样本分布敏感,无法反映预测值的校准度
💡 示例回答: AUC表示随机正样本排在随机负样本前的概率,衡量模型排序能力。计算时按预测值排序,统计正负样本对中正样本排前的比例。推荐中用于评估CTR预估模型的排序质量,值越接近1越好,但需关注样本分布变化对AUC的影响,常结合GAUC更精细评估。
❗ 可能追问: