一、评价函数基础：什么是评价函数
大家好，我是你们这门课的老朋友。今天咱们聊聊推荐系统里最核心、也最容易被忽视的一个东西——评价函数。
说白了，评价函数就是一把尺子。你训练了一个推荐模型，它给你吐出一堆结果。这结果好不好？不能光靠感觉吧。评价函数就是用来量化这个「好」的。
我刚开始做推荐的时候，犯过一个低级错误。模型离线指标刷得飞起，上线后用户点击率反而跌了。后来排查才发现，我用的评价函数跟业务目标根本对不上。嗯，从那以后，我每次选评价函数前都会先问自己一句：你到底想衡量什么？
1.1 评价函数在推荐系统中的作用
评价函数在推荐系统里，至少干三件事：
- 衡量模型好坏：离线阶段，我们用评价函数来对比不同模型、不同参数的效果。哪个AUC高，哪个就暂时领先。
- 指导模型训练：很多模型（比如排序模型）的损失函数本身就是一种评价函数。模型在训练过程中，就是在不断优化这个函数。
- 对齐业务目标：这是最容易被忽略的一点。评价函数必须跟你的业务指标挂钩。你做的是点击率预估，那就别盯着准确率不放；你做的是转化率，那就要关注AUC或者GAUC。
核心观点：评价函数是推荐系统的「指挥棒」。你用什么指标，模型就会朝什么方向优化。选错了，整个系统都会跑偏。
1.2 评价函数的数学定义与分类
从数学角度看，评价函数其实就是一个映射。它把模型的预测结果和真实标签作为输入，输出一个数值。这个数值越大（或越小），代表模型效果越好。
我习惯把评价函数分成两大类：
| 分类 | 特点 | 典型代表 | 适用场景 |
|---|---|---|---|
| 点估计指标 | 衡量单个预测的准确度 | MSE、MAE、准确率、召回率 | 回归任务、分类任务 |
| 排序指标 | 衡量推荐列表的整体排序质量 | NDCG、MRR、MAP、HitRate | Top-N推荐、搜索排序 |
你想想看，这两种指标关注的点完全不一样。点估计指标关心的是「你猜得准不准」，排序指标关心的是「你把好东西排到前面了没」。
举个例子。你给用户推荐了10个商品，用户只点击了第3个。如果用准确率来算，10个里只猜对了1个，准确率只有10%，惨不忍睹。但如果用NDCG来算，你把用户喜欢的商品排到了第3位，这个排序质量其实还不错。
我的经验：在实际项目中，我通常会同时看2-3个评价函数。一个主指标（跟业务强相关），一两个辅助指标（用来排查问题）。只看一个指标，很容易被「骗」。
1.3 为什么评价函数这么重要？
我记得有一次做内部技术分享，有个同学问我：「老师，评价函数不就是算个分吗？随便选一个不就行了？」
我当时给他讲了一个真实案例。某团队做短视频推荐，离线用AUC评估模型，效果一直很好。但上线后用户留存率反而下降了。后来一查，发现AUC虽然高，但模型把大量低质量但「容易点击」的短视频排到了前面。用户点了几次后发现内容太水，慢慢就不来了。
这就是典型的评价函数跟业务目标脱节。AUC衡量的是排序能力，但它不关心内容质量。如果你用AUC做唯一指标，模型就会钻空子。
避坑指南：我曾经因为只盯着一个评价函数，浪费了整整两周的调参时间。后来我养成了一个习惯——每次实验前，先把评价函数列表写出来，然后问自己：这些指标真的能反映业务效果吗？
1.4 本章知识体系
为了让你更直观地理解评价函数在推荐系统中的位置，我画了一张图。这张图展示了从数据输入到最终业务效果的全链路，以及评价函数在其中扮演的角色。
从这张图你可以看到，评价函数贯穿了推荐系统的两个阶段：
- 离线阶段：用评价函数筛选模型、调参、做A/B测试前的预判。
- 线上阶段：用评价函数监控模型效果，发现问题后反馈回离线训练，形成闭环。
我个人认为，评价函数选得好不好，直接决定了你整个推荐系统的天花板。选对了，事半功倍；选错了，南辕北辙。
1.5 小结
这一章我们聊了评价函数的基本概念、它在推荐系统中的作用，以及它的数学定义和分类。核心就三句话：
- 评价函数是衡量模型效果的尺子。
- 选评价函数前，先想清楚业务目标。
- 离线指标和线上效果之间，存在一条「鸿沟」。