4. 离线评估方法:AUC计算、NDCG归一化、离线分割策略、交叉验证
离线评估是推荐模型上线前的核心防线。本章拆解四大评估组件:AUC衡量全局排序能力,NDCG评估Top-K列表质量,离线分割策略决定数据可信度,交叉验证检验模型稳定性。掌握这些方法的原理、计算细节和面试表述,是模型评估工程师的必备技能。
| 方法 | 核心用途 | 计算复杂度 | 推荐场景适用性 | 关键注意点 |
|---|---|---|---|---|
| AUC | 整体排序能力 | O(n) | CTR预估、召回排序 | 对样本分布敏感 |
| NDCG | Top-K排序质量 | O(n log n) | 推荐列表排序 | 位置折扣设计 |
| 时间序列分割 | 数据划分防止泄露 | O(1) | 所有推荐场景 | 时间穿越是红线 |
| 交叉验证 | 模型稳定性验证 | O(k) | 数据充足场景 | 保持分布一致性 |
📌 面试问题:请解释AUC的含义、计算方法及其在推荐模型评估中的应用。
🎯 考察点:
是否理解AUC的本质(排序能力而非准确率);能否说出至少两种计算方法;是否了解AUC在推荐场景中的适用性与局限性。
📐 回答框架:
- 定义本质:AUC = ROC曲线下面积 = 随机正样本排在随机负样本前的概率
- 计算方法:排序统计法(统计正负样本对中正样本排前的比例)或梯形积分法
- 推荐场景:评估CTR预估模型的用户偏好排序能力,值越接近1越好
- 局限性:对样本分布敏感,无法反映预测值的校准度
💡 示例回答:
AUC表示随机正样本排在随机负样本前的概率,衡量模型排序能力。计算时按预测值排序,统计正负样本对中正样本排前的比例。推荐中用于评估CTR预估模型的排序质量,值越接近1越好,但需关注样本分布变化对AUC的影响,常结合GAUC更精细评估。
❗ 可能追问: