3、评估指标体系设计：分类、回归、排序等任务的核心指标选择原则与业务对齐方法
评估指标体系是 Champion Challenger 模型的“裁判系统”。选择错误的指标，可能导致优秀的模型被误判淘汰，或劣质模型被错误上线。本章将系统讲解分类、回归、排序三大类任务的核心指标，并给出与业务目标对齐的实用方法。
3.1 分类任务核心指标
分类任务是最常见的监督学习场景，指标选择需关注正负样本分布、误分类代价和业务容忍度。
| 指标名称 | 计算公式 | 适用场景 | 业务对齐要点 |
|---|---|---|---|
| 准确率 (Accuracy) | (TP+TN)/(TP+TN+FP+FN) | 正负样本均衡 | 仅适用于无偏数据，否则被多数类主导 |
| 精确率 (Precision) | TP/(TP+FP) | 误报代价高（如垃圾邮件误判） | 业务方关注“预测为正例的样本中，有多少是真的正例” |
| 召回率 (Recall) | TP/(TP+FN) | 漏报代价高（如疾病筛查） | 业务方关注“真正的正例中，模型找出了多少” |
| F1-Score | 2*P*R/(P+R) | 精确率与召回率需平衡 | 当业务无法明确偏好时，F1 是默认调和指标 |
| AUC-ROC | ROC 曲线下面积 | 排序能力评估、阈值无关 | 适合评估模型整体区分度，不受阈值影响 |
| KS 统计量 | max(TPR - FPR) | 风控模型区分能力 | 金融行业常用，衡量好坏样本最大分离程度 |
业务对齐原则： 在信贷风控场景中，误放贷（FP）的代价远高于误拒绝（FN），因此 Champion Challenger 评估应优先关注 Precision@TopK 或 KS，而非 Accuracy。
3.2 回归任务核心指标
回归任务关注预测值与真实值之间的偏差形态。不同指标对异常值的敏感度差异巨大，需根据业务容忍度选择。
| 指标名称 | 计算公式 | 异常值敏感度 | 业务对齐场景 |
|---|---|---|---|
| MAE | 1/n * Σ|yᵢ - ŷᵢ| | 低 | 预测误差成本线性增长（如销量预测） |
| MSE / RMSE | 1/n * Σ(yᵢ - ŷᵢ)² | 高 | 大误差不可容忍（如安全监控、价格预测） |
| MAPE | 100%/n * Σ|(yᵢ - ŷᵢ)/yᵢ| | 中 | 相对误差重要（如营收预测、增长率预测） |
| R² | 1 - SS_res / SS_tot | 中 | 模型解释方差比例，适合对比不同模型 |
实战建议： 在 Champion Challenger 回归模型对比中，建议同时报告 MAE 和 RMSE。若两者差距过大，说明存在极端误差样本，需进一步分析异常值来源。
3.3 排序任务核心指标
排序任务（推荐系统、搜索排序）的核心是衡量模型对物品顺序的预测能力，而非具体数值。
- NDCG@K (Normalized Discounted Cumulative Gain)： 考虑位置折扣和相关性分级，是排序任务最通用的指标。业务对齐时需定义相关性等级（如点击=1，购买=3）。
- MRR (Mean Reciprocal Rank)： 只关注第一个相关结果的位置，适合“用户只关心第一个答案”的场景（如问答系统）。
- MAP (Mean Average Precision)： 综合评估所有相关结果的位置，适合多相关结果场景（如文档检索）。
- Hit Rate@K / Recall@K： 关注 Top-K 中是否包含用户感兴趣物品，适合召回阶段评估。
常见误区： 排序任务中，不要单独使用 Precision@K 或 Recall@K 作为 Champion Challenger 的唯一指标。它们忽略了排序位置信息，两个模型可能 Recall@10 相同，但排序质量差异巨大。
3.4 业务对齐方法：从业务目标到指标映射
指标选择不是技术决策，而是业务决策。以下三步法可确保评估指标与业务目标对齐：
- 定义业务核心目标： 如“提升用户留存率”、“降低坏账率”、“提高搜索点击率”。
- 拆解为可量化代理指标： 如留存率可拆解为“7日复购率”、“月活跃天数”；坏账率可拆解为“逾期30天以上比例”。
- 映射到模型评估指标： 如“7日复购率”对应排序模型的 NDCG@5（推荐高复购商品）或分类模型的 Recall@Top10（召回潜在复购用户）。
案例： 某电商平台上线 Champion Challenger 推荐模型。业务目标是“提升 GMV”。拆解后发现 GMV = 曝光量 × 点击率 × 转化率 × 客单价。因此评估指标体系设计为：
• 排序指标：NDCG@10（衡量整体排序质量）
• 分类指标：CTR 预估的 AUC（衡量点击率模型区分度）
• 回归指标：客单价预测的 MAPE（衡量价格预测相对误差）
• 排序指标：NDCG@10（衡量整体排序质量）
• 分类指标：CTR 预估的 AUC（衡量点击率模型区分度）
• 回归指标：客单价预测的 MAPE（衡量价格预测相对误差）
3.5 评估指标体系设计总览
以下 SVG 图展示了从业务目标到指标选择的完整映射流程，以及不同任务类型对应的核心指标簇。
3.6 Champion Challenger 指标对比矩阵
在实际评估中，建议使用以下矩阵同时对比 Champion 与 Challenger 模型在多个指标上的表现，避免单一指标误导决策。
| 评估维度 | 核心指标 | Champion 模型 | Challenger 模型 | 差异方向 | 业务影响判断 |
|---|---|---|---|---|---|
| 分类能力 | AUC | 0.852 | 0.871 | +0.019 ▲ | 整体区分度提升 |
| 误报控制 | Precision@Top5% | 0.78 | 0.82 | +0.04 ▲ | 高分段误报减少 |
| 漏报控制 | Recall@Top10% | 0.65 | 0.63 | -0.02 ▼ | 需评估漏报代价 |
| 排序质量 | NDCG@10 | 0.743 | 0.761 | +0.018 ▲ | 推荐排序更优 |
| 预测偏差 | MAE | 12.3 | 11.8 | -0.5 ▲ | 预测误差降低 |
决策建议： 当 Challenger 在多数指标上优于 Champion，但某个关键业务指标（如 Recall）下降时，应进行 代价敏感分析。计算漏报增加带来的损失是否小于其他指标提升带来的收益，再决定是否切换模型。
3.7 指标选择避坑清单
- 避免指标单一化： 永远不要只用一个指标做 Champion Challenger 决策。至少选择 3 个覆盖不同维度的指标。
- 避免忽略业务代价： 统计显著性（p-value）不能替代业务影响评估。即使 p < 0.05，如果提升幅度在业务上无意义，也不应切换模型。
- 避免离线指标与在线指标脱节： 离线 AUC 提升 0.01 不代表线上 CTR 一定提升。建议建立离线指标与在线指标的映射关系数据库。
- 避免样本偏差： 评估指标的计算必须基于与线上分布一致的样本，否则指标对比无效。
典型反例： 某团队用 Accuracy 评估信用卡欺诈检测模型，Challenger 模型 Accuracy 达到 99.9%，远超 Champion 的 99.5%。但上线后发现 Challenger 将所有交易预测为“正常”，导致欺诈漏报率 100%。原因是欺诈样本仅占 0.1%，Accuracy 被多数类主导。正确的做法是使用 Recall@TopK 或 Precision-Recall 曲线。