📚 课程目录第4章评价指标

4. 评价指标

在OOD检测与异常场景挖掘工程中，模型训练完成只是第一步，真正决定项目能否落地的是评价指标体系是否选得对、算得准、读得懂。很多团队在离线实验阶段看到AUROC达到0.95就认为模型可用，上线后却发现大量分布外样本被误判为正常，或者异常挖掘召回率极低，根本原因往往不是模型本身，而是评价指标与业务目标错位。本节将系统梳理六类核心指标的计算逻辑、适用边界与解读方法，帮助你在不同阶段选择正确的度量工具。

一、核心原理：从二分类到排序质量

OOD检测本质上是一个二分类问题：将样本判定为ID（分布内）或OOD（分布外）。模型通常输出一个OOD分数，分数越高表示越可能是OOD。评价指标围绕这个分数与真实标签之间的关系展开。

AUROC（Area Under ROC Curve）衡量的是模型在所有可能阈值下，将OOD样本排在ID样本前面的概率。其计算基于真正例率TPR与假正例率FPR的曲线下面积。AUROC的优点是阈值无关、对类别不平衡不敏感，适合作为模型排序能力的全局度量。但它的缺点也很明显：当ID与OOD极度不平衡时，AUROC可能给出过于乐观的估计。

AUPR（Area Under Precision-Recall Curve）则聚焦于正类（通常为OOD）的查准率与查全率。在OOD样本占比极低（如1%甚至更低）的场景下，AUPR比AUROC更能反映模型的实际可用性。AUPR的随机基线等于正类比例，因此当OOD占比为1%时，随机模型的AUPR仅为0.01，而AUROC仍为0.5，两者对模型能力的区分度差异巨大。

FPR95定义为当TPR达到95%时对应的假正例率。它回答的是一个非常工程化的问题：如果我要捕获95%的OOD样本，会误伤多少ID样本？FPR95越低越好，通常要求控制在5%以下，在安全关键场景中甚至要求低于1%。

检测准确率是在选定阈值下的整体正确率，计算简单直观，但高度依赖阈值选择，且在不平衡数据中容易被多数类主导，因此只适合作为辅助参考。

OOD泛化误差衡量模型在未见过的OOD分布上的性能下降程度，通常用ID测试集与OOD测试集上的指标差值表示。它反映的是模型的分布偏移鲁棒性，而非单纯的分类能力。

异常挖掘召回率则从业务视角出发，衡量在所有真实异常中，被成功挖掘并上报的比例。它直接对应漏报风险，是异常挖掘系统的核心KPI。

二、方法流程：指标计算与阈值选择

在实际工程中，指标计算需要遵循标准化流程，避免因实现细节导致结果不可比。以下是一个典型的评估脚本框架：

import numpy as np
from sklearn.metrics import roc_auc_score, average_precision_score

def evaluate_ood(id_scores, ood_scores, id_labels, ood_labels):
    """
    id_scores: ID样本的OOD分数（越低越像ID）
    ood_scores: OOD样本的OOD分数（越高越像OOD）
    """
    scores = np.concatenate([id_scores, ood_scores])
    labels = np.concatenate([np.zeros(len(id_scores)), np.ones(len(ood_scores))])

    # AUROC
    auroc = roc_auc_score(labels, scores)

    # AUPR（正类为OOD）
    aupr = average_precision_score(labels, scores)

    # FPR95：TPR达到95%时的FPR
    from sklearn.metrics import roc_curve
    fpr, tpr, thresholds = roc_curve(labels, scores)
    idx = np.argmin(np.abs(tpr - 0.95))
    fpr95 = fpr[idx]

    # 检测准确率（以FPR95对应阈值为准）
    thresh = thresholds[idx]
    preds = (scores >= thresh).astype(int)
    acc = (preds == labels).mean()

    return {"AUROC": auroc, "AUPR": aupr, "FPR95": fpr95, "ACC": acc}

阈值选择是连接离线指标与在线业务的关键环节。常见策略包括：固定FPR阈值（如允许1%误报）、固定TPR阈值（如必须捕获95%异常）、业务代价最小化（漏报代价与误报代价加权）。不同策略下，同一模型的检测准确率可能相差十几个百分点，因此报告中必须注明阈值设定依据。

三、案例场景：工业质检中的指标权衡

某液晶面板缺陷检测项目，ID为正常面板，OOD为各类缺陷。产线每天产出10万片，缺陷率约0.3%。若仅看AUROC，模型达到0.97，看似优秀。但计算AUPR后发现仅为0.62，因为正类占比极低。进一步看FPR95为8.5%，意味着要捕获95%的缺陷，每天会误报约8500片正常面板，产线无法承受。

团队随后调整策略：将FPR95压缩到1%以内，此时TPR降至82%，异常挖掘召回率为82%。虽然漏掉了18%的缺陷，但误报量降至1000片/天，可由人工复检兜底。这个案例说明：AUROC高不代表业务可用，必须结合FPR95与召回率做代价权衡。

四、误区与复盘

常见误区一：只看AUROC。在OOD占比低于5%时，AUROC会严重高估模型能力。建议同时报告AUPR与随机基线比值。

常见误区二：混淆OOD泛化误差与检测准确率。前者衡量跨分布性能下降，后者是单一阈值下的分类正确率，两者不可互相替代。

常见误区三：忽略阈值敏感性。检测准确率随阈值剧烈波动，报告中应给出阈值选择依据及对应的FPR/TPR。

常见误区四：异常挖掘召回率与OOD召回率混用。前者面向业务异常定义，后者面向OOD标签，两者口径不同，需在数据字典中明确区分。

五、指标速查清单

指标	计算要点	适用场景	解读方向
AUROC	ROC曲线下面积，阈值无关	OOD占比适中，快速对比模型排序能力	越接近1越好，0.5为随机
AUPR	PR曲线下面积，正类为OOD	OOD占比极低（<5%）	需与随机基线（正类比例）对比
FPR95	TPR=95%时的FPR	安全关键、误报代价高场景	越低越好，通常要求<5%
检测准确率	(TP+TN)/N，依赖阈值	辅助参考，需注明阈值	不平衡数据中易失真
OOD泛化误差	ID与OOD指标差值	评估分布偏移鲁棒性	越小越好，反映稳定性
异常挖掘召回率	TP/(TP+FN)，业务口径	异常挖掘系统核心KPI	直接对应漏报风险

工程建议：在模型评估报告中，至少同时呈现AUROC、AUPR、FPR95和异常挖掘召回率四项。若OOD占比低于5%，以AUPR为主指标；若误报代价极高，以FPR95为主约束；若漏报不可接受，以召回率为第一优先级。OOD泛化误差则用于版本间稳定性对比，检测准确率仅作辅助记录。

掌握这六项指标的计算与解读，是OOD检测从实验走向生产的关键一步。指标不是越多越好，而是要与业务代价结构对齐，才能让模型评估真正指导工程决策。