3. 训练集质量评估的维度体系

训练集质量评估不能只靠“看起来还行”的主观判断。医学影像数据从采集、脱敏、标注到入库，每一环都可能引入不同类型的缺陷，而这些缺陷对模型的影响方式并不相同：缺一张图可能只影响样本量，标错一个病灶可能直接教坏模型，而患者信息未脱敏则会让整个数据集无法使用。因此，需要一套分维度的评估框架，把“质量”拆成可检查、可量化、可追责的具体对象。

本节建立六维评估框架：完整性、准确性、一致性、代表性、合规性、可用性。这六个维度不是并列的检查项，而是有先后依赖关系的评估层次——合规性和完整性决定数据集“能不能用”，准确性和一致性决定“用得对不对”，代表性和可用性决定“用得好不好”。

完整性：先保证“该有的都有”

完整性评估的对象是数据集的结构完整与配对完整。结构完整指每个病例的影像序列是否齐全，例如一个脑肿瘤 MRI 病例通常应包含 T1、T1 增强、T2、FLAIR、DWI、ADC 等序列，若缺少增强序列，则无法用于需要强化特征的模型。配对完整指标注文件、分割掩膜、临床信息表是否与影像一一对应，常见问题是“有影像无标注”或“标注文件名与影像不匹配”。

工程上通常用缺失率来量化：对每个必填字段或必填序列，统计缺失样本数占总样本数的比例。例如某批 1200 例数据中，ADC 序列缺失 48 例，缺失率为 4.0%；若设定阈值为 2%，则该批次不通过完整性检查，需要回退补充或标记为“部分可用”。

准确性：标注与真实解剖、病理的吻合程度

准确性是六维中最难自动评估、但对模型影响最直接的一维。对分割任务，常用 Dice 相似系数、IoU、边界距离（如 Hausdorff 距离）衡量标注与参考标准的一致性；对分类任务，则用与病理金标准或随访结论的符合率。实际工程中不可能对全部样本做金标准复核，通常采用分层抽样复核：按病种、病灶大小、标注者分层，每层抽取 5%～10% 由高年资医师复核。

假设某肺结节分割数据集共 800 例，抽取 80 例复核，其中 6 例 Dice 低于 0.75，则低质量比例为 7.5%。若阈值设为 5%，则需针对该标注者或该病种批次进行返工。这里的关键是：准确性评估必须保留可追溯的复核记录，包括复核人、复核时间、原始标注与修正标注，否则无法定位问题来源。

一致性：不同标注者、不同批次之间是否“说同一种语言”

一致性关注的是标注规范执行是否统一。常见不一致包括：同一病灶在不同病例中边界松紧不同、窗宽窗位设置不同导致可见范围不同、分类标签定义边界模糊（如“磨玻璃结节”与“部分实性结节”的判定分歧）。量化指标包括多标注者间的 Kappa 系数、ICC 组内相关系数，以及标注差异率。

例如让 3 位医师对 100 例结节分别标注，计算两两之间的 Dice 均值。若某两位医师的平均 Dice 为 0.68，而整体目标为 0.85，则说明标注规范需要细化，或需要对低一致性标注者进行培训与校准。一致性不达标时，不应直接进入训练，否则模型会学到矛盾的边界定义。

代表性：训练集是否覆盖真实临床分布

代表性评估的是数据集在病种、分期、设备厂商、扫描参数、患者年龄性别等维度上的覆盖情况。一个只包含某一家医院、某一台设备、某一病种早期病例的数据集，即使完整、准确、一致，训练出的模型也可能在外部数据上严重失效。

工程上可统计各维度的分布，并与目标临床场景的参考分布对比。例如目标场景中阳性率约为 30%，而训练集阳性率为 8%，则存在明显偏倚，需要通过补充阳性样本或调整采样权重来缓解。代表性评估的输出通常是一份分布对比表，而不是单一分数。

合规性：一票否决的底线维度

合规性检查患者身份信息是否脱敏、数据使用是否在伦理批件和授权范围内、是否涉及敏感字段外泄。DICOM 头中的 PatientName、PatientID、BirthDate、InstitutionName 等标签必须按规范清理或替换。合规性不通过的数据，无论其他维度多好，都不能进入训练流程。工程上通常把脱敏流水线作为数据入库的前置关卡，并保留脱敏日志以备审计。

可用性：能不能被训练框架顺利“吃进去”

可用性关注数据格式、元数据、版本管理是否满足工程化训练需求。常见问题包括：图像格式不统一（DICOM、NIfTI、PNG 混用）、方向矩阵缺失、像素间距不一致、标注类别编码不统一、数据集版本无法追溯。可用性评估可通过实际加载测试来完成：用目标训练框架读取全部样本，统计解析成功率与平均加载耗时。若解析成功率低于 99.5%，则需要先做格式标准化。

六维到工程任务的映射

六个维度最终要落到可执行的工程任务上，否则评估只是纸面工作。下表给出一种映射示例，实际项目中可根据团队分工调整任务编号与责任人。

把六维评估结果与工程任务绑定后，质量评估就不再是一次性的检查动作，而是持续迭代的数据治理流程：每一轮评估输出问题清单，问题清单转化为具体任务，任务完成后重新评估，直到各维度达到预设阈值。这样，训练集质量才真正可管理、可复现、可交付。