1. 课程导入与多模态融合工程全景

在临床影像科，一位疑似急性缺血性卒中的患者往往会在很短时间内接受 CT 平扫、CT 血管成像（CTA）和 CT 灌注（CTP）三项检查。放射科医生需要把平扫中早期缺血征象、CTA 上大血管闭塞位置、CTP 上核心梗死与缺血半暗带的阈值结果放在同一空间里对照，才能判断是否适合取栓。这个真实场景揭示了医学影像多模态融合的核心命题：把来自不同成像设备、不同时间、不同物理量纲的影像信息，映射到统一的空间与语义框架中，形成比任何单一模态更可靠的诊断或治疗依据。

“多模态”在医学影像中通常指三类差异：一是成像物理机制不同，如 CT 的 X 射线衰减、MRI 的质子密度与弛豫、PET 的放射性示踪剂分布、超声的声阻抗反射；二是同一设备下的不同对比或序列，如 MRI 的 T1、T2、DWI、FLAIR；三是影像与文本、基因、病理等非影像数据的联合。融合工程要处理的不是“把图叠在一起”这么简单，而是要在几何、灰度、语义三个层面同时建立可计算的一致性。

融合的价值与典型临床场景

多模态融合的临床价值可以概括为“定位更准、定性更强、定量更稳”。定位更准，指通过配准把功能信息叠加到高分辨率解剖图上，例如把 fMRI 激活区叠加到 T1 解剖像上辅助癫痫灶定位；定性更强，指多参数联合提升诊断特异性，例如前列腺 MRI 中 T2WI、DWI、DCE 联合使用 PI-RADS 评分；定量更稳，指多模态互相校正，例如 PET/MRI 中利用 MRI 的解剖边界约束 PET 的部分容积效应校正。

典型场景包括：卒中一站式 CT 评估、肿瘤放疗计划中的 CT-MRI-PET 融合靶区勾画、神经外科导航中的术前 MRI 与术中超声融合、心脏介入中的 X 射线透视与术前 CT 融合、以及多时间点随访影像的纵向融合。这些场景对融合的精度、速度和可解释性要求各不相同，也决定了工程实现必须按场景定制。

工程化挑战

从工程视角看，多模态融合面临五类硬约束。第一是空间不一致：不同设备坐标系、不同层厚、不同扫描方位，甚至同一患者不同次检查的摆位差异，都会导致直接叠加失败。第二是灰度不可比：CT 的 HU 值与 MRI 的任意信号强度没有统一量纲，不能简单做加权平均。第三是分辨率与信噪比差异：PET 空间分辨率通常为 4～6 mm，而 CT 可达 0.5 mm，融合时需明确以谁为参考。第四是计算与实时性：术中导航要求配准在秒级完成，而离线科研可以接受分钟级优化。第五是可解释与合规：临床决策需要知道融合结果的不确定度来源，且算法需满足医疗器械软件的生命周期与验证要求。

课程路线图

本课程按“基础—配准—融合—应用—工程化”推进。前段建立坐标系、插值、相似性测度等数学基础；中段深入刚性/仿射/非线性配准、多分辨率优化、深度学习配准；后段覆盖像素级、特征级、决策级融合方法，以及 CT-MRI、PET-CT、超声-CT 等典型组合；最后落到数据管理、DICOM 与 NIfTI 互操作、GPU 加速、质量评估与临床验证。每一章都会给出可运行的示例参数与判断依据，而不是停留在概念层。

上图把本课程的主线压缩为一条可追踪的数据流：左侧是物理机制各异的输入模态，中间是配准、重采样、融合显示、量化分析、质量评估五段处理链，右侧是诊断、规划、引导、随访等临床输出。虚线回路表示质量评估结果会反向驱动配准参数与融合策略的迭代，这也是工程实现与“一次性叠加”最本质的区别。

一个可操作的入门示例

以卒中 CT 一站式评估为例，假设已有平扫 CT（层厚 1.0 mm）、CTA（层厚 0.6 mm）和 CTP（层厚 5.0 mm，覆盖 8 cm）。工程上通常以平扫 CT 为参考空间，因为其分辨率高且解剖清晰。第一步做刚性配准，把 CTA 和 CTP 对齐到平扫 CT；第二步用三线性插值把 CTA 重采样到 1.0 mm 网格，CTP 因层厚大，重采样后需标注“低分辨率区域”；第三步把 CTP 的 CBF、CBV、MTT 参数图以伪彩叠加到平扫 CT 上，同时用 CTA 提取的血管中心线叠加显示闭塞段；第四步按阈值（如 CBF < 30% 对侧）勾画核心梗死，按 Tmax > 6 s 勾画低灌注区，计算不匹配比率。判断融合是否可用，可观察血管中心线与 CT 高密度影是否重合、脑室边界是否错位，若目视偏差超过 2 mm 则需重新配准。

本课程后续每一章都会围绕这条主线展开：先明确输入与约束，再给出可复现的处理步骤与参数，最后说明如何观察结果并判断是否达标。掌握这条从模态到决策的完整链路，才能在真实工程中把“多模态”从概念变成可交付的系统能力。