1. 评价函数基础：概念、角色与核心区别
各位同学好，我是这门课的主讲。今天咱们正式进入《评价函数构建与实战应用技巧》的第一章。
评价函数，说白了就是一把尺子。你训练了一个模型，它到底好不好？总得有个标准来衡量吧。这把尺子，就是评价函数。
我刚开始做机器学习那会儿，总觉得模型训练完就万事大吉了。结果呢？有一次在客户现场，模型在测试集上跑得飞起，一上线就崩了。后来复盘才发现，我用的评价指标根本就没反映真实业务需求。从那以后，我对评价函数就格外上心。
1.1 什么是评价函数
评价函数（Evaluation Function），也叫评估指标或性能度量。它接收模型的预测结果和真实标签，输出一个数值，用来量化模型的表现。
形式上，可以写成：
score = eval_metric(y_true, y_pred)其中：
- y_true：真实值（Ground Truth）
- y_pred：模型预测值
- score：评价得分，越高通常代表模型越好（也有越低越好的，比如误差类指标）
举个例子，最简单的评价函数——准确率（Accuracy）：
def accuracy(y_true, y_pred):
correct = sum(1 for t, p in zip(y_true, y_pred) if t == p)
return correct / len(y_true)嗯，就这么简单。但实际项目中，评价函数远不止这么直白。
1.2 评价函数在机器学习中的角色
评价函数在机器学习流程里，扮演着三个关键角色：
| 角色 | 说明 | 我见过的坑 |
|---|---|---|
| 模型选择 | 在多个候选模型中，用评价函数打分，选最优的那个 | 有人只看单一指标，忽略了业务约束 |
| 超参数调优 | 网格搜索、贝叶斯优化等，都依赖评价函数作为目标 | 调参时评价函数和损失函数不一致，导致方向跑偏 |
| 业务对齐 | 把模型性能翻译成业务方听得懂的语言 | 技术指标漂亮，业务方却说“不好用” |
你想想看，没有评价函数，你怎么知道模型有没有进步？怎么跟老板汇报？怎么决定要不要上线？
我个人习惯，在项目启动阶段，就先跟业务方把评价函数定死。这样后面所有工作，都围绕这个目标展开，不会跑偏。
核心观点：评价函数是连接模型技术和业务价值的桥梁。选对了，事半功倍；选错了，白忙一场。
1.3 评价函数与损失函数的区别
这个问题，我几乎每次面试都会问候选人。很多人答不上来，或者混为一谈。
咱们先看一张对比图：
这张图把核心区别说清楚了。我再展开讲讲：
损失函数（Loss Function）
- 用途：在训练过程中，指导模型参数更新
- 要求：必须可微（differentiable），否则没法做梯度下降
- 特点：值越小，说明模型拟合得越好
- 例子：均方误差（MSE）、交叉熵（Cross-Entropy）
评价函数（Evaluation Function）
- 用途：在训练结束后，衡量模型最终表现
- 要求：可解释性强，能反映业务需求
- 特点：通常不可微，值越大越好（也有例外）
- 例子：准确率、精确率、召回率、F1分数
我曾经踩过的坑：在一个分类项目中，我用交叉熵做损失函数，用准确率做评价函数。训练过程中损失一直在降，但准确率却纹丝不动。后来才发现，数据极度不平衡，模型学会了“一直预测多数类”，损失确实小了，但准确率根本没变。从那以后，我养成了一个习惯：训练时同时监控损失函数和评价函数，两者结合着看。
1.4 为什么不能直接用损失函数做评价？
你可能会问：既然损失函数也能衡量模型好坏，为什么还要单独搞一套评价函数？
原因有三：
- 可解释性问题：损失函数的值（比如0.0237）对业务方来说毫无意义。但“准确率95%”一听就懂。
- 业务导向不同：损失函数追求的是数学上的最优，但业务可能更关心“误报率”或“漏报率”。
- 不可微也能用：评价函数不需要参与梯度计算，所以可以设计得更复杂、更贴近实际场景。
我的建议：在项目初期，就定义好评价函数。然后看看它和损失函数之间有没有“gap”。如果有，考虑用代理损失函数（surrogate loss）或者调整训练策略。这个技巧，咱们在后面的章节会详细讲。
1.5 本章小结
咱们把这一章的核心内容捋一遍：
- 评价函数：衡量模型好坏的尺子，用于模型选择和业务对齐
- 损失函数：训练模型的“方向盘”，必须可微，用于梯度下降
- 两者关系：训练时用损失函数，评估时用评价函数。它们可以相同，但更多时候不同
- 选对评价函数：比调参更重要。选错了，整个项目方向都是歪的