1. 课程导入与评估地图
医学影像人工智能模型从论文走向临床，最大的落差往往不在算法本身，而在“评估”这一环。一个在公开数据集上Dice达到0.92的肺结节分割模型，换到另一家医院的数据上可能骤降到0.78；一个在回顾性数据上AUC为0.95的骨折识别模型，面对不同厂商CT机的重建参数时，敏感度可能下降十几个百分点。本课程要解决的核心问题就是：如何科学地评估一个医学影像模型，并判断它是否真的具备跨机构、跨设备、跨人群的泛化能力。
在展开具体方法之前，先建立一张“评估地图”。这张地图由四个核心概念支撑：内部验证、外部验证、泛化与域偏移。它们不是并列的名词，而是层层递进的关系——内部验证回答“模型在同类数据上稳不稳”，外部验证回答“模型换一个世界还灵不灵”，泛化是目标，域偏移是阻碍目标实现的那堵墙。
四个核心概念的真实含义
内部验证（Internal Validation）指在同一数据来源、同一采集协议、同一人群分布下，评估模型的性能与稳定性。常见做法包括留出法（Hold-out）、K折交叉验证、Bootstrap重采样。它的价值在于估计“过拟合程度”和“结果的可重复性”，但它无法回答跨机构问题。举例来说，某研究将1000例胸部CT按7:1:2划分为训练、验证、测试集，测试集Dice为0.89，这只说明模型在这1000例所代表的分布内表现良好。
外部验证（External Validation）指在模型训练时完全未接触过的独立数据集上评估性能，这些数据通常来自不同医院、不同设备、不同年份或不同人群。外部验证又可分为时间外部验证（同一医院不同时间段）、地理外部验证（不同医院/地区）和完全独立外部验证（不同国家、不同厂商设备）。它是判断模型能否临床落地的关键证据。
泛化（Generalization）是模型在训练分布之外仍保持稳定性能的能力。泛化不是单一数字，而是一条“性能衰减曲线”：从内部测试集到近域外部集，再到远域外部集，性能下降越平缓，泛化越好。
域偏移（Domain Shift）是导致泛化失败的根本原因。在医学影像中，域偏移主要来自四个方向：设备与厂商差异（GE、西门子、飞利浦的CT重建核不同）、扫描协议差异（层厚、管电压、对比剂方案）、人群差异（年龄、种族、疾病谱）以及标注差异（不同医师的勾画习惯）。理解域偏移，才能理解为什么外部验证必须做、怎么做。
为什么外部验证不能省
很多研究止步于内部验证，原因很现实：外部数据难拿、标注成本高、伦理审批周期长。但从评估科学的角度看，内部验证存在一个结构性缺陷——训练集和测试集共享同一个“域”，模型可能通过记住该域特有的伪影、噪声模式或重建纹理来提升表现，而这些特征在另一家医院根本不存在。这就是所谓的“域泄漏”。
外部验证的价值在于它强制模型面对真实的异质性。以肺结节检测为例，某模型在内部测试集上的敏感度为0.94，假阳性率为每例2.1个；换到使用不同层厚（1mm vs 2.5mm）和不同重建核的外部数据后，敏感度降至0.86，假阳性率升至每例4.7个。这个衰减幅度才是临床医生真正关心的数字。如果只看内部结果，会严重高估模型的可用性。
本课程的整体框架
围绕上述四个概念，课程分为五个模块，形成一条从“会评估”到“能落地”的完整路径：
- 模块一：评估基础（第1–6章）——建立评估地图，掌握数据集划分、金标准构建、评价指标（Dice、IoU、AUC、敏感度/特异度、校准曲线）的计算与解读。
- 模块二：内部验证方法（第7–12章）——交叉验证、Bootstrap置信区间、统计检验（DeLong检验、Bootstrap检验），以及如何报告不确定性。
- 模块三：外部验证设计与执行（第13–20章）——外部数据获取、域偏移量化、亚组分析、时间/地理外部验证的实施流程与常见陷阱。
- 模块四：泛化增强策略（第21–26章）——数据增强、域自适应、联邦学习、测试时自适应，以及这些方法在评估中如何被正确验证。
- 模块五：实战项目与报告规范（第27–30章）——以“多中心肺结节CT分割模型”为贯穿案例，完成从内部验证到外部验证的完整评估报告，并对齐TRIPOD、CLAIM等报告规范。
实战项目概览：多中心肺结节分割评估
课程贯穿一个可复现的实战项目：给定一个基于U-Net的肺结节分割模型，训练数据来自A医院（n=800，层厚1mm，GE设备），你需要完成以下评估任务：
- 在A医院留出的测试集（n=160）上完成内部验证，报告Dice、IoU、HD95及其95%置信区间。
- 在B医院数据（n=200，层厚2.5mm，西门子设备）上做地理外部验证，比较性能衰减。
- 在C医院数据（n=150，不同年份、不同人群）上做时间外部验证，分析亚组差异（结节大小、位置、密度）。
- 绘制性能衰减曲线，量化域偏移程度，并给出模型是否适合推广的判断。
接下来的章节将从数据集划分与金标准构建开始，逐步展开这条评估链路。你需要带着一个核心问题进入每一章：这个评估步骤，能帮我排除哪一种偏差或不确定性？只有清楚每个环节在防什么，评估才不是走过场。