2. 医学影像模态基础

多模态融合工程的第一步，不是急着搭建网络，而是把每个模态“是什么、怎么来的、数据长什么样、能提供什么信息、融合时有什么坑”弄清楚。不同模态的物理成像机制决定了它们在空间分辨率、对比度来源、噪声结构、几何形变和语义层次上的差异，这些差异直接决定了配准策略、融合层级和网络设计。本节按“成像原理 → 数据特性 → 融合适配性”三条线索，逐一梳理 CT、MRI、PET、超声、X-ray、病理与文本报告七类模态。

CT：以衰减系数为像素值的定量密度图

CT 通过 X 射线球管与探测器绕人体旋转，测量各角度投影，再经滤波反投影或迭代重建得到断层图像。像素值本质是线性衰减系数 μ 的映射，经 Hounsfield 变换为 HU：空气约 −1000 HU，水 0 HU，骨 300～1500 HU。这一线性标定使 CT 具有跨设备、跨中心的定量可比性，是融合中难得的“公共坐标系”。

数据特性上，CT 空间分辨率高（层内可达 0.5～0.7 mm），噪声近似泊松—高斯混合，金属植入物会产生条状伪影。融合适配性方面：CT 几何畸变小、骨结构清晰，常作为 PET/CT、SPECT/CT 的解剖参考基准；与 MRI 融合时，CT 提供骨与钙化信息，MRI 补充软组织对比，二者互补性强。工程上需注意 HU 窗口（如肺窗、骨窗）对特征分布的影响，建议在预处理阶段统一重采样到各向同性体素（如 1×1×1 mm）并做窗宽窗位归一化。

MRI：多参数、多序列的软组织对比之王

MRI 基于核磁共振：静磁场 B₀ 使氢质子自旋取向，射频脉冲激发后，质子弛豫过程产生信号，通过梯度场进行空间编码。不同序列（T1、T2、FLAIR、DWI、ADC）反映不同组织参数，因此同一解剖位置可产生多组“通道”。

数据特性上，MRI 无电离辐射、软组织对比极佳，但存在偏置场（B1 不均匀）、几何形变（尤其 EPI 序列）和强度非标准化问题——同一组织在不同设备上信号值不可直接比较。融合适配性方面：多序列 MRI 之间天然构成多模态融合（如 T1+T2+DWI 用于脑肿瘤分割）；MRI 与 CT 融合需先做形变配准；MRI 与 PET 融合（PET/MR）可同时获得代谢与软组织信息。工程上建议对 MRI 做 N4 偏置场校正、Z-score 或直方图归一化，并对 DWI/ADC 单独处理，避免与结构序列混用同一归一化参数。

PET：功能代谢的稀疏高灵敏信号

PET 注射放射性示踪剂（如 ¹⁸F-FDG），探测正电子湮灭产生的 511 keV 光子对，经符合探测与重建得到示踪剂分布图。像素值反映代谢活性，常用 SUV（标准化摄取值）量化。

数据特性上，PET 灵敏度极高但空间分辨率低（约 4～6 mm），噪声大、计数统计性强，且 SUV 受注射剂量、体重、血糖、扫描时间影响。融合适配性方面：PET 几乎总是与 CT 或 MRI 融合，由解剖模态提供定位、由 PET 提供功能信息；融合时需注意 PET 的低分辨率会“拉低”整体空间细节，常用策略是在网络早期保留 PET 的全局语义、在后期用 CT/MRI 的高频细节补充。工程上建议对 SUV 做体表面积或瘦体重归一化，并记录示踪剂类型与摄取时间作为元数据。

超声：实时、操作者依赖的斑点噪声图像

超声通过探头发射高频声波（2～15 MHz），接收组织界面反射回波，按回波时间与强度成像。成像模式包括 B 模式、彩色多普勒、弹性成像等。

数据特性上，超声实时、无辐射、便携，但视野受限、斑点噪声强、图像质量高度依赖操作者手法与探头角度，且不同设备间强度不可比。融合适配性方面：超声与 CT/MRI 融合常用于介入导航（如超声引导下穿刺与术前 CT 配准），但需解决实时性与形变问题；超声与病理融合可用于甲状腺、乳腺等浅表器官的多尺度分析。工程上建议对超声做斑点噪声抑制（如 Lee 滤波）和强度归一化，并保留探头型号、频率等采集参数。

X-ray：投影叠加的二维高分辨率图像

X-ray 是 CT 的“二维投影版”：X 射线穿过人体后被探测器接收，得到沿射线路径的衰减积分，因此是三维结构的二维叠加，缺乏深度信息。

数据特性上，X-ray 空间分辨率高、剂量低、成本低，但组织重叠导致遮挡，且不同投照角度差异大。融合适配性方面：X-ray 常与 CT 融合用于术前规划（如骨科），或与文本报告融合用于报告生成；由于是二维投影，与三维模态融合时需明确投影几何（如前后位、侧位）并做相应投影或反投影变换。工程上建议记录投照体位、SID（源像距）等参数，避免直接与三维体数据做像素级对齐。

病理：微米级、全切片的高分辨率图像

病理图像来自组织切片经染色（如 H&E、IHC）后在显微镜下扫描，形成全切片图像（WSI），分辨率可达 0.25 μm/pixel，单张可达数十亿像素。

数据特性上，病理提供细胞级形态与分子标记信息，是诊断金标准，但视野为二维切片、缺乏空间三维关系，且染色批次差异大。融合适配性方面：病理与影像融合（如影像组学—病理组学）是当前研究热点，但面临尺度鸿沟（mm 级影像 vs μm 级病理）和空间对应难题，通常需借助活检位置或手术标本定位建立对应。工程上建议对 WSI 做颜色归一化（如 Macenko 方法）并采用多尺度金字塔读取。

文本报告：结构化与非结构化并存的语义模态

文本报告包括影像报告、病理报告、临床记录等，通常包含检查所见、诊断意见等段落，既有自由文本也有结构化字段（如 BI-RADS 分级）。

数据特性上，文本是离散符号、语义密度高，但存在表述差异、缩写、否定与不确定性（如“不排除”“考虑”）。融合适配性方面：文本可作为弱监督信号指导影像特征学习，也可与影像做跨模态对齐（如图文检索、报告生成）。工程上建议先做医学实体识别与否定检测，再构建结构化标签，避免直接使用原始文本做端到端融合。

融合适配性的三条工程判断线

把七类模态放在一起看，融合适配性可以沿三条线判断。第一条是空间可比性：CT、MRI、PET 属于三维体数据，X-ray 是二维投影，超声是实时二维扇面，病理是微米级二维切片，文本无空间维度。跨维度融合必须先明确几何变换关系，不能默认像素对齐。第二条是强度可比性：CT 的 HU 和 PET 的 SUV 有物理量纲，MRI、超声、病理的强度是相对值，文本是符号值。融合前应区分“可定量模态”和“需归一化模态”，对后者做标准化而非直接拼接。第三条是语义层次：CT/MRI 偏解剖结构，PET 偏功能代谢，病理偏细胞形态，文本偏诊断结论。融合时若把不同语义层次的特征直接相加，容易互相稀释；更合理的做法是按层次分工，例如解剖模态提供定位、功能模态提供活性、文本提供先验约束。

一个可复用的预处理对照示例

假设一个融合任务同时使用脑部 T1-MRI、T2-FLAIR、FDG-PET 和 CT，可按如下方式处理（参数为教学示例，实际需按数据调整）：

模态       重采样间距     强度处理                 备注
T1-MRI     1×1×1 mm      N4 偏置校正 + Z-score    保留脑组织对比
T2-FLAIR   1×1×1 mm      N4 偏置校正 + Z-score    与 T1 分开归一化
FDG-PET    1×1×1 mm      SUV 归一化（瘦体重）      记录摄取时间
CT         1×1×1 mm      窗宽窗位截断 + 线性缩放    保留骨与钙化

完成上述处理后，四个模态才具备进入同一融合网络的基础条件。若跳过其中任何一步，例如直接把原始 MRI 与 CT 拼接，网络会因强度分布差异过大而难以收敛。模态基础不是背景知识，而是融合工程的第一道质量关口。