常用评估指标速览：准确率、召回率、F1、AUC、RMSE、MAE、MAPE
业务分析师与数据科学家在沟通模型效果时，最常使用的评估指标可以归为两大类：分类指标（准确率、召回率、F1、AUC）和回归指标（RMSE、MAE、MAPE）。每个指标从不同角度回答同一个问题——“模型在业务场景中到底好不好用？”
1. 概念解释
七个指标的定义与核心语义如下表所示，理解每个指标“在测量什么”是对齐业务目标的第一步。
| 指标 | 全称 | 核心语义 | 适用任务 |
|---|---|---|---|
| 准确率 | Accuracy | 全部预测中正确预测的比例 | 分类（平衡场景） |
| 召回率 | Recall | 真实正例中被成功识别出的比例 | 分类（漏报敏感） |
| F1 分数 | F1-Score | 精确率与召回率的调和平均 | 分类（需平衡时） |
| AUC | Area Under ROC Curve | 模型对正负例排序区分能力的综合度量 | 分类（排序/评分） |
| RMSE | Root Mean Square Error | 预测误差的平方根均值，对大误差惩罚大 | 回归（误差敏感） |
| MAE | Mean Absolute Error | 预测误差绝对值的平均，对异常值稳健 | 回归（直观解释） |
| MAPE | Mean Absolute Percentage Error | 误差以实际值百分比表示，无量纲可跨场景对比 | 回归（相对误差） |
提示： 准确率在类别严重不平衡时容易产生“虚高”假象。例如违约率仅1%的业务中，模型全判为“未违约”也能得到99%的准确率，但此时召回率为0%，模型完全失效。因此选择指标前必须先看数据分布。
2. 流程拆解：如何根据业务场景选择评估指标
选择评估指标不是“从工具箱里随便挑一个”，而是沿着业务目标→数据特征→错误成本→指标组合的路径做决策。
- 明确任务类型： 分类还是回归？分类看离散标签，回归看连续数值。
- 检查数据分布： 分类任务中正负样本是否平衡？回归任务中是否存在极端异常值？
- 定义错误成本： 漏报（False Negative）和误报（False Positive）哪个代价更高？例如医疗筛查中漏报远重于误报。
- 选择主指标与辅助指标： 单一指标往往有盲区，推荐用“1主+2辅”组合。例如主召回率+辅准确率+F1。
- 验证指标与业务目标的对齐： 指标提升是否真的带来了业务收益？例如AUC提升0.02是否意味着更少的坏账？
关键对照： 当业务方说“模型要更准”时，需要澄清是“准确率更高”还是“召回率更高”，二者的优化方向往往互斥。F1 分数就是在这种互斥中寻找平衡的常用工具。
3. 案例分析：信贷违约预测中的指标选择
场景： 某银行开发违约预测模型，历史数据显示违约率仅为5%（严重不平衡）。业务目标是在控制误报率的前提下，尽可能捕获更多的真实违约用户。
- 如果只用准确率： 模型可轻易达到95%+，但实际对违约用户毫无识别能力，业务上完全不可用。
- 引入召回率： 业务要求召回率不低于70%，即至少抓住七成真实违约客户。
- 用F1平衡误报： 单纯追求召回率会导致大量优质客户被误判为违约，F1帮助在召回率和精确率之间取得合理折中。
- AUC做兜底验证： AUC从整体排序能力上衡量模型好坏，确保在调整阈值时不丢失区分能力。
结论： 该场景最终选用“召回率（主）+ F1（辅）+ AUC（监控）”的组合，避免被准确率的虚假高值误导，同时平衡了漏报与误报的业务成本。
避坑提醒： MAPE 在回归预测中很直观，但当实际值接近0时，MAPE 会趋向无穷大，导致指标完全失真。遇到含零或接近零的实际值时，应改用 MAE 或 RMSE 替代。
4. 表格总结：指标适用场景与注意事项
| 指标 | 最适合的场景 | 主要局限 | 推荐组合 |
|---|---|---|---|
| 准确率 | 类别均衡、各类错误成本相近 | 不平衡数据下严重失真 | + 召回率 / + F1 |
| 召回率 | 漏报代价极高（欺诈、重疾筛查） | 只关注正类，忽略误报 | + 精确率 / + F1 |
| F1 分数 | 需要平衡精确率与召回率 | 忽略真正负例表现 | + AUC / + 特异度 |
| AUC | 排序场景、阈值不确定 | 不反映具体阈值下的表现 | + 召回率 / + 精确率 |
| RMSE | 对大误差格外敏感的业务（如金融风控） | 受异常值影响大，单位不直观 | + MAE / + MAPE |
| MAE | 需要直观解释平均误差 | 对大误差不够敏感 | + RMSE / + Max Error |
| MAPE | 跨量纲对比、汇报给业务方 | 实际值接近0时失效 | + MAE / + RMSE |
5. 实践清单：对齐评估指标的每日自检
在开始建模或评审模型效果之前，逐项核对以下清单，确保指标选择与业务目标保持一致。
- □ 任务类型确认： 我面对的是分类问题还是回归问题？是否有多任务混合？（若混淆，先回到业务定义层澄清）
- □ 数据分布检查： 分类标签是否平衡？回归目标是否有长尾或零值？是否因此需要排除某个指标？
- □ 错误成本排序： 漏报 vs 误报哪个更贵？这个排序是否得到了业务方书面确认？
- □ 指标组合选定： 是否遵循“1主+2辅”原则？主指标是否直接对应业务KPI？
- □ 阈值与场景对齐： AUC是否只做监控？具体决策阈值下召回率和精确率是否同时达标？
- □ 回归特检： 如果用了MAPE，数据中是否存在接近零的目标值？是否已准备 MAE/RMSE 作为备选？
- □ 指标评审会准备： 能否用一句话向业务方解释“为什么用这个指标而不是另一个”？
实用建议： 将上述清单打印为团队“指标对齐检查卡”，在每个建模迭代启动前快速勾选，能有效避免“模型指标好看、业务效果翻车”的常见脱节问题。