📚 课程目录第4章模型评估指标体系（二）

4. 模型评估指标体系（二）

上一节讨论的分类指标（AUC、准确率、F1）把每个样本压缩成一个标签，而分割与检测任务的输出是“空间结构”——分割模型输出逐像素的掩膜，检测模型输出若干带类别与置信度的边界框。评估这类输出，必须同时回答两个问题：重叠得够不够准，以及有没有漏掉或凭空多出来的目标。前者由 Dice、IoU、HD95、ASSD 描述，后者由灵敏度、PPV、mAP、FROC 描述。

一、重叠类指标：Dice 与 IoU

设预测掩膜为 P，金标准掩膜为 G，两者都是二值集合。交并比 IoU（又称 Jaccard 指数）定义为交集面积除以并集面积：

IoU = |P ∩ G| / |P ∪ G|
Dice = 2|P ∩ G| / (|P| + |G|)

两者单调对应，换算关系为 Dice = 2·IoU / (1 + IoU)，IoU = Dice / (2 − Dice)。因此 Dice 0.80 约等于 IoU 0.67，Dice 0.90 约等于 IoU 0.82。报告时务必写清用的是哪一个，否则“0.8 的分割精度”会产生歧义。

举例说明：某肝脏 CT 切片上，金标准肿瘤区域 1000 像素，模型预测 900 像素，其中 800 像素与金标准重合。则交集 800，并集 1000 + 900 − 800 = 1100，IoU = 800/1100 ≈ 0.727，Dice = 1600/1900 ≈ 0.842。可见 Dice 数值天然高于 IoU，这是公式结构决定的，不是模型更好。

Dice 与 IoU 都是“体积型”指标，对整体大小敏感，但对边界局部错误不敏感。一个边界整体外扩 2 像素的小目标，Dice 可能仍很高；而一个细长结构（如血管、视网膜血管）只要断开一处，Dice 就会明显下降。因此它们适合评估器官、肿瘤等块状结构，评估管状、薄层结构时需配合距离类指标。

二、距离类指标：HD95 与 ASSD

豪斯多夫距离（HD）取预测边界点集到金标准边界点集的最大最近距离，对单个离群点极其敏感，临床上很少直接用 HD，而用 HD95：取所有边界点距离的第 95 百分位数，剔除最极端的 5% 离群点，单位是毫米（mm），因此必须先确认体素间距（spacing）。若 CT 层厚 1 mm、层内 0.7 mm，同一组掩膜在不同 spacing 下算出的 HD95 数值不同，跨中心比较时必须统一重采样。

ASSD（平均对称表面距离）则是所有边界点最近距离的均值，反映边界的“平均贴合程度”。HD95 抓最坏情况，ASSD 抓整体偏差，二者常成对报告。经验上，肝脏分割 HD95 在 5 mm 以内、ASSD 在 1 mm 以内可视为边界质量良好；脑肿瘤术后腔等复杂边界，HD95 放宽到 10 mm 也属常见。

三、检测类指标：灵敏度、PPV、mAP 与 FROC

检测任务先要判定“预测框是否命中”。通常以 IoU ≥ 0.5 作为命中阈值（也可用 0.75 或按目标尺寸调整）。在此基础上：

灵敏度（Recall） = TP / (TP + FN)，衡量“该找的有没有找到”，漏检直接降低灵敏度。
PPV（精确率） = TP / (TP + FP)，衡量“找到的靠不靠谱”，误报直接降低 PPV。

检测模型输出的是带置信度的框列表，阈值一变，TP、FP、FN 全变。因此单点灵敏度/PPV 不足以刻画性能，需要看整条曲线。mAP 是各类别 AP（PR 曲线下面积）的平均，AP 通过对不同置信度阈值下的 Precision-Recall 曲线积分得到，常用 COCO 风格 mAP@[0.5:0.95] 表示在 10 个 IoU 阈值上取平均，数值更严格。

医学检测中，病灶往往稀疏、每张图只有几个目标，FP 数量对临床影响极大，此时 FROC（Free-response ROC）更合适：横轴是平均每张图像/每个病例的假阳性数（FP/image），纵轴是灵敏度。它不要求固定 FP 数，而是展示“允许一定误报时能拿到多高灵敏度”。常用指标是 CPM（Competition Performance Metric），即在预设 FP 水平（如 0.125、0.25、0.5、1、2、4、8 FP/image）处灵敏度的平均值。肺结节检测、乳腺钙化检测普遍采用 FROC/CPM 报告。

四、临床意义与报告建议

这些指标不是并列的“分数”，而是对应不同的临床风险。分割中，Dice 高但 HD95 大，意味着主体覆盖好、边界有局部外溢，可能影响放疗计划中危及器官的剂量约束；灵敏度低意味着漏掉病灶，PPV 低意味着把正常组织判为病灶，导致不必要的活检或随访。检测中，灵敏度决定“会不会漏诊”，PPV 决定“会不会过度召回”，FROC 曲线则直接回答“每例允许 1 个假阳性时，能抓到多少病灶”。

实际报告时建议遵循三条原则。第一，成对报告：分割同时给 Dice 与 HD95，检测同时给灵敏度与 PPV，避免只报“好看”的那一个。第二，写清阈值与单位：检测注明命中 IoU 阈值（0.5 还是 0.75），分割注明 spacing 与是否重采样。第三，给出置信区间：用 bootstrap 对病例重采样 1000 次，报告 95% CI，例如 Dice 0.842（95% CI 0.81–0.87），否则小样本下的 0.01 差异没有意义。

外部验证时，若目标中心使用不同层厚或不同标注规范，Dice 与 HD95 会同时变化。建议先做重采样与标注一致性检查，再比较指标，否则差异可能来自数据管线而非模型本身。

不要把 Dice 与 IoU 混用后直接比较数值，也不要把 mAP@0.5 与 mAP@[0.5:0.95] 放在同一张表里对比。指标定义不一致时，任何“提升 3 个百分点”的结论都不可靠。

小结：分割看“重叠 + 边界 + 像素级漏误”，检测看“命中 + 阈值曲线 + 每例误报”。理解每个指标背后的临床问题，才能在外部验证中选出真正反映模型价值的评价组合。