1. 多模态影像组学融合建模导论
影像组学（Radiomics）的核心思想，是把医学图像从"给人看的图"转化为"给机器算的数"：在分割出的感兴趣区（ROI）内提取成百上千个定量特征，用它们刻画病灶的形状、强度和纹理。但单一模态只能看到病灶的一个侧面——CT 擅长反映密度与钙化，MRI 多参数序列分别敏感于细胞密度、水扩散与血供，PET 反映代谢活性，超声提供实时形态与血流信息。多模态影像组学融合建模，就是把这些来自不同成像物理机制、不同空间分辨率、不同采集时间的信息，在特征层或决策层上整合为一个统一模型，从而得到比任何单模态都更稳健、更贴近病理与基因表型的预测结果。
一、什么是多模态影像组学
需要先厘清三个层次的概念。第一层是多模态图像：同一患者、同一部位、不同成像方式或不同序列的图像集合，例如肺癌中的平扫/增强 CT 与 PET-CT，脑胶质瘤中的 T1、T1c、T2、FLAIR 四个 MRI 序列。第二层是多模态影像组学：对每个模态分别完成分割与特征提取，得到若干组特征向量，再研究它们之间的互补性与冗余性。第三层是融合建模：把多组特征按某种策略组合，训练出单一预测模型，输出如良恶性判别、分级、疗效反应或生存风险等临床终点。
这里有一个容易被忽略的前提：多模态数据必须空间对齐。不同模态的体素间距、层厚、扫描体位往往不同，通常需要以某一模态为参考进行刚性或形变配准，再把分割掩膜重采样到统一网格。若配准误差超过病灶半径的 10%～15%，纹理特征就会明显失真，融合反而引入噪声。因此"配准—重采样—分割—特征提取"这条前置链路的质量，直接决定融合模型的上限。
二、融合建模的目标与挑战
融合的目标可以概括为三点：互补（用不同物理机制覆盖单一模态的盲区）、稳健（降低对某一模态采集质量波动的依赖）、可解释（让临床医生理解模型依据了哪些影像证据）。
挑战同样明确。其一是维度灾难：4 个序列 × 每序列约 1000 维特征 = 4000 维，而样本量常只有几百例，特征数远多于样本数。其二是尺度与量纲不一致：CT 的 HU 值、MRI 的任意信号强度、PET 的 SUV 值量纲完全不同，必须逐模态标准化。其三是缺失模态：真实临床中并非每位患者都做全了检查，模型需要具备容忍缺失的能力。其四是过拟合与验证偏差：若同一患者的图像被随机分到训练集和测试集，会因数据泄漏导致性能虚高，正确做法是按患者划分，并尽量采用外部中心验证。
三、典型临床应用场景
融合建模的价值在几个场景中体现得尤为突出。在肺结节良恶性判别中，CT 提供形态与密度特征，PET 提供 SUVmax 与代谢异质性，二者融合后对亚实性结节的判别 AUC 常优于单模态。在脑胶质瘤分级与分子分型中，T1c 反映血脑屏障破坏、FLAIR 反映水肿范围、T2 反映肿瘤浸润，多序列融合可无创预测 IDH 突变与 1p/19q 共缺失状态。在直肠癌新辅助放化疗疗效预测中，治疗前 MRI 的纹理特征结合临床 T/N 分期，可提前识别病理完全缓解（pCR）人群，辅助保肛决策。在肝癌微血管侵犯预测中，增强 CT 多期相（动脉期、门脉期、延迟期）的融合特征与 MVI 病理结果相关性显著。
这些场景的共同点是：临床终点明确、金标准可获得、单模态信息确实不足。反过来说，如果单模态已经能给出足够准确的判断，融合只会增加复杂度而不增加价值。
四、课程项目与数据准备
本课程将围绕一个贯穿始终的示例项目展开：基于多序列 MRI 的脑胶质瘤分级与 IDH 状态预测。选择它的理由是公开数据可得、模态齐全、临床意义清晰。
数据准备建议按以下顺序推进。第一步，获取公开数据集，如 BraTS（多序列 MRI 配准良好、含分割标注）或 TCIA 上的对应集合，同时记录每例的年龄、性别、WHO 分级、IDH 状态等标签。第二步，建立数据清单表，至少包含：患者 ID、各模态文件路径、分割掩膜路径、标签、数据来源中心。第三步，做质量筛查，剔除运动伪影严重、层厚过大（如 >5 mm）、配准明显失败的病例，并记录剔除原因与数量。第四步，按患者划分训练集/验证集/测试集，建议比例 6:2:2，若有多中心数据，优先采用"留一中心"的外部验证方案。
一个可直接使用的数据清单字段示例如下：
patient_id, center, T1_path, T1c_path, T2_path, FLAIR_path, mask_path, grade, idh_status, age, sex, exclude_reason
P0001, A, /data/P0001/T1.nii.gz, /data/P0001/T1c.nii.gz, /data/P0001/T2.nii.gz, /data/P0001/FLAIR.nii.gz, /data/P0001/seg.nii.gz, III, mutant, 47, M,
P0002, A, /data/P0002/T1.nii.gz, /data/P0002/T1c.nii.gz, /data/P0002/T2.nii.gz, /data/P0002/FLAIR.nii.gz, /data/P0002/seg.nii.gz, IV, wildtype, 58, F,
P0003, B, /data/P0003/T1.nii.gz, /data/P0003/T1c.nii.gz, /data/P0003/T2.nii.gz, /data/P0003/FLAIR.nii.gz, /data/P0003/seg.nii.gz, IV, wildtype, 63, M, motion_artifact