为什么要有评估指标？——一把通用的尺子

聊评估指标之前，我先讲个故事。几年前我给一个电商平台做模型，预测用户会不会下单。模型上线后业务方跑过来问：“你这模型准不准？”我拍了胸脯说“准，准确率98%！”结果对方一查日志，发现模型只管预测“不买”，因为98%的用户确实不买。业务方当场就懵了。

你看，光说“准”是不够的。你得有标准的方法，来衡量模型到底好不好。这就是评估指标的用处。说白了，评估指标就是一把通用的尺子。不管你用什么算法、什么框架，咱们拿同一把尺子量，结果才能比。

分类问题 vs 回归问题——两类不同的“准”

我记得刚开始带团队时，新人常问一个问题：“老师，选哪个指标最好？”我的回答通常是四个字：看问题类型。模型分两大类：分类和回归。衡量它们的方式完全不同。

分类问题，好比做选择题。你得告诉我选A还是选B。准不准，看的是“选对了几道”。回归问题则像做计算题。你得告诉我结果大概是10还是100。准不准，看的是“偏差有多大”。

维度	分类问题	回归问题
输出形式	离散标签（如：是/否、红/绿）	连续数值（如：房价、温度）
常用指标	AUC、准确率、F1-score	RMSE、MAE、R²
核心关注点	排序能力与正负样本区分	预测值与真实值的差距
误差定义	分错类就算错	偏差越大惩罚越重
业务场景举例	是否欺诈、垃圾邮件识别	销量预测、温度预估

你想想看，要是把分类指标拿去做回归，会怎样？比如你用准确率去看房价预测——只要预测不是精确的200万，都算错。那模型永远及格不了。反过来，把回归指标拿去做分类，RMSE会因为你分错了一个样点而飙升，但分类模型其实没那么脆弱。嗯，所以指标选错了，结论就全歪了。

为什么不能只看一个指标？

我在项目中遇到过不少“指标陷阱”。最典型的就是只看准确率。你以为准确率92%很牛，结果发现测试集里92%都是负样本，模型只要全猜“负”就能拿到92%。这种情况在医疗诊断、反欺诈等领域特别常见。

好一点的评估体系，通常会同时看好几个维度。比如分类问题，除了准确率，还会看AUC、Precision、Recall。回归问题，除了RMSE，还会看MAE和R²。每个指标都像手电筒，照到的面不一样。只有组合起来，才能看清模型的真实实力。

一个常见的评估流程

我个人习惯的做法是三步走。第一步，先定义业务目标。比如我们想“减少误报”还是“不漏掉任何一个坏人”。目标不一样，评估侧重点就不一样。第二步，根据目标选2~3个核心指标。别贪多，多了反而看不出重点。第三步，跑完模型后多维度对比，别只看数字，还要看趋势和分布。

举个例子，一个反欺诈模型的评估流程大概长这样：

# 第1步：切分数据集
train, val, test = split_data(raw_data, ratio=[0.6, 0.2, 0.2])

# 第2步：训练模型（以分类为例）
model = train_classifier(train)

# 第3步：在验证集上计算多个指标
from sklearn.metrics import roc_auc_score, accuracy_score, f1_score
y_pred = model.predict(val)
y_prob = model.predict_proba(val)[:, 1]

auc = roc_auc_score(y_val, y_prob)
acc = accuracy_score(y_val, y_pred)
f1 = f1_score(y_val, y_pred)

# 第4步：对比指标，注意样本分布
print(f"AUC: {auc:.3f}, Acc: {acc:.3f}, F1: {f1:.3f}")

分类与回归的指标选择总结

下面这个表格，是我自己平时做评估时最常用的对照表。每次调模型前，我都会过一遍，避免选错指标。

问题类型	推荐指标	适用场景
分类（二分类）	AUC、F1、Precision-Recall	样本不平衡时，AUC和F1比准确率更可靠
分类（多分类）	Macro F1、Weighted AUC	各类别样本数量差异大时用Weighted
回归	RMSE、MAE、R²	RMSE对异常值敏感，MAE更稳健
回归（存在异常值）	MAE、Median Absolute Error	样本中存在严重的离群点时优先选MAE

一点个人经验

曾经有个项目，我给某物流公司做配送时间预估模型。一开始只看RMSE，觉得0.8还不错。后来业务方抱怨说“你们预估的时间晚10分钟，我们整个调度就乱套了”。我换了个角度，改用MAE + 分位数误差来评估。发现模型在短途配送（3公里以内）误差很小，但长途配送（20公里以上）误差大得离谱。后来针对长途配单独优化，整体效果才上来。

所以我的建议是：别只盯着一个数字。多维度、分场景评估，才能发现模型的真实短板。这也是为什么本章要讲解AUC和RMSE——它们分别代表了分类和回归两个方向最经典的评估思路。