1. 课程导入与多模态医学影像数据集全景

在医学人工智能的研发链条中，算法模型往往是最受关注的部分，但真正决定模型能力上限的，通常是它背后的数据集。单模态数据只能回答“这个器官长什么样”，而临床决策往往需要同时回答“形态如何、代谢是否活跃、基因是否突变、病理是否支持”。多模态医学影像数据集正是为弥合这一差距而构建的：它把来自不同成像设备、不同检查时间、不同信息层次的数据，围绕同一个患者或同一个病灶组织起来，形成可训练、可验证、可追溯的数据资产。

学习目标

完成本章学习后，你应当能够：说清模态、多模态、配对与对齐这几个核心概念的区别；列举 CT、MRI、PET、超声、病理、文本与基因组等常见模态的物理来源与信息特点；描述一个多模态数据集从需求定义到发布共享的完整构建流程；识别数据采集中涉及的伦理与法规要点，尤其是知情同意、去标识化和数据使用边界。这些目标是后续 29 章的技术基础，也是判断一个数据集是否“可用、可信、合规”的基本尺度。

核心概念：模态、配对与对齐

模态指数据获取的物理方式与信息载体。CT 利用 X 射线衰减系数成像，对骨结构和肺实质敏感；MRI 依赖氢质子在外加磁场中的弛豫特性，软组织对比度优异；PET 通过示踪剂追踪代谢活动，反映功能信息；超声以声波反射成像，实时、无辐射；病理切片是组织层面的金标准；文本（如放射报告、出院小结）承载临床语义；基因组数据则提供分子层面的风险与分型信息。

多模态不是把不同文件放进同一个文件夹，而是要求模态之间存在可关联的锚点。最常见的锚点是患者 ID 与检查时间。若同一患者的 CT 与 PET 在同一天完成，可视为时间近似配对；若 MRI 与病理来自同一次手术，则属于空间—组织配对。对齐分为时间对齐与空间对齐：时间对齐解决“不同检查相隔多久仍可视为同一状态”，空间对齐解决“不同坐标系下的病灶如何对应到同一位置”。对齐质量直接决定多模态模型能否学到真实的跨模态关联，而不是学到采集顺序带来的伪相关。

数据集构建全流程

一个可复现的多模态数据集构建流程通常包含七个阶段。第一阶段是需求定义：明确任务类型（分类、分割、检测、报告生成）、目标人群、模态组合与样本量。第二阶段是伦理与合规审查：提交研究方案，取得伦理委员会批件，确认知情同意的覆盖范围。第三阶段是数据采集：从 PACS、病理系统、检验系统、测序平台等来源抽取原始数据，记录设备型号、扫描参数、序列名称等元数据。第四阶段是清洗与去标识化：删除姓名、身份证号、住院号等直接标识符，对日期做偏移处理，对 DICOM 头中的隐私字段进行脱敏。第五阶段是配对与对齐：按患者和时间窗口建立索引，完成图像重采样、配准与切片级关联。第六阶段是标注与质控：由多学科团队完成病灶勾画、诊断标签和报告结构化，采用双人标注加仲裁的方式控制一致性。第七阶段是版本管理与发布：生成数据字典、划分训练/验证/测试集，记录每次变更，按许可协议共享。

模态类型与信息层次

这些模态并非简单并列，而是构成从宏观到微观、从结构到功能、从影像到分子的信息层次。CT 与 MRI 回答“在哪里、长什么样”，PET 回答“代谢是否活跃”，病理回答“细胞层面是什么”，文本回答“临床如何判断”，基因组回答“为什么会这样”。多模态数据集的价值，正在于让模型有机会在这些层次之间建立联系。

伦理与法规概览

医学数据涉及个人隐私与群体权益，合规不是附加项而是前置条件。知情同意应明确说明数据用途、共享范围、保存期限以及是否允许商业再利用；去标识化需同时处理 DICOM 头、图像像素中的 burned-in annotation 以及文本中的间接标识符；数据使用应遵循最小必要原则，按角色分配访问权限；跨境传输和二次使用需重新评估法律依据。对于基因组数据，还需考虑遗传信息对亲属的潜在影响，通常要求更严格的访问控制与去标识策略。

把这张全景图记在心里，后续每一章都会回到其中的某个环节：模态决定信息边界，配对与对齐决定关联质量，流程决定可复现性，合规决定数据能否被合法使用。多模态数据集构建不是一次性任务，而是一条需要持续治理的数据生产线。理解这条生产线的全貌，才能在具体技术选择时不迷失方向。