3、业务指标定义：如何定义评估指标
在 Champion Challenger 对比分析中，评估指标是衡量模型优劣的“标尺”。选错指标，再好的模型也无法落地。本章从分类模型核心指标出发，逐步延伸到业务 KPI，并给出指标选择原则。
3.1 分类模型核心指标
假设二分类问题的混淆矩阵如下：
| 实际 \ 预测 | 正类 (Positive) | 负类 (Negative) |
|---|---|---|
| 正类 (Positive) | TP (True Positive) | FN (False Negative) |
| 负类 (Negative) | FP (False Positive) | TN (True Negative) |
3.1.1 准确率 (Accuracy)
所有预测中，预测正确的比例。
Accuracy = (TP + TN) / (TP + TN + FP + FN)
适用场景：正负样本均衡时。若样本严重不平衡（如欺诈检测中正样本仅占1%），准确率会虚高，失去参考价值。
3.1.2 精确率 (Precision) 与召回率 (Recall)
- 精确率：预测为正类的样本中，实际为正类的比例。关注“预测结果的可信度”。
- 召回率：实际为正类的样本中，被正确预测为正类的比例。关注“正样本的覆盖度”。
Precision = TP / (TP + FP)
Recall = TP / (TP + FN)3.1.3 F1 分数
精确率和召回率的调和平均数，综合反映模型性能。
F1 = 2 * (Precision * Recall) / (Precision + Recall)
关键点：F1 对精确率和召回率的不平衡非常敏感。当两者差距较大时，F1 会显著低于算术平均。
3.1.4 AUC (Area Under the ROC Curve)
ROC 曲线下的面积，衡量模型对正负样本的排序能力。AUC 取值范围 [0, 1]，越接近 1 表示模型区分正负类的能力越强。
- AUC = 0.5：模型无区分能力，等同于随机猜测。
- AUC > 0.7：通常认为模型有较好的区分能力。
- AUC > 0.9：模型区分能力很强。
3.2 业务 KPI 指标
模型指标最终要服务于业务目标。常见的业务 KPI 包括：
| 业务场景 | 典型 KPI | 与模型指标的关系 |
|---|---|---|
| 信贷风控 | 坏账率、通过率、逾期率 | 坏账率与召回率负相关；通过率与精确率正相关 |
| 营销响应 | 响应率、ROI、获客成本 | 响应率对应精确率；ROI 需结合成本计算 |
| 推荐系统 | 点击率 (CTR)、转化率 (CVR)、用户留存 | CTR 与精确率相关；CVR 与召回率相关 |
| 异常检测 | 误报率、漏报率、处置效率 | 误报率对应 1 - 精确率；漏报率对应 1 - 召回率 |
常见误区：只关注模型 AUC 而忽略业务 KPI。例如，AUC 很高的模型可能因为阈值设置不当导致通过率过低，无法产生实际收益。
3.3 指标选择原则
在 Champion Challenger 对比中，指标选择应遵循以下原则：
- 业务导向原则：优先选择与业务目标直接挂钩的指标。例如，风控场景优先看坏账率，而非 AUC。
- 可解释性原则：指标应能被业务方理解。AUC 对非技术人员较抽象，可辅以精确率/召回率解释。
- 鲁棒性原则：指标对数据分布变化不敏感。例如，样本不平衡时优先使用 F1 或 AUC，而非准确率。
- 可对比原则：Champion 与 Challenger 的指标计算口径、数据范围、时间窗口必须一致。
- 多指标综合原则：单一指标有局限性，建议组合使用。例如，同时监控精确率与召回率，或使用 F1 作为综合指标。
3.4 Champion Challenger 指标对比框架
在实际对比中，建议建立如下指标看板：
| 指标类别 | Champion 模型 | Challenger 模型 | 差异 | 是否显著 |
|---|---|---|---|---|
| 精确率 | 0.85 | 0.88 | +0.03 | 是 |
| 召回率 | 0.72 | 0.70 | -0.02 | 否 |
| F1 | 0.78 | 0.78 | 0.00 | 否 |
| AUC | 0.82 | 0.85 | +0.03 | 是 |
| 业务 KPI (坏账率) | 3.2% | 2.9% | -0.3% | 是 |
实战建议：在 Champion Challenger 对比报告中，至少包含 1 个模型指标（如 F1 或 AUC）和 1 个业务 KPI（如坏账率或 ROI）。仅凭模型指标无法说服业务方，仅凭业务 KPI 可能掩盖模型缺陷。