4. 多模态融合架构对评估的影响

多模态药物研发模型的评估，不能只看最终指标高低，还必须先回答一个更基础的问题：信息是在什么位置、以什么方式被合并的。融合架构决定了模型能利用哪些跨模态关系，也决定了评估时哪些能力必须被单独检验、哪些偏差最容易被总体指标掩盖。本节围绕早期融合、晚期融合、交叉注意力与对比学习四类典型架构，说明它们的评估侧重点与常见偏差来源。

一、四类融合架构的信息流差异

早期融合（early fusion）在输入或浅层特征阶段就把不同模态拼接或对齐，例如把分子指纹、靶点蛋白序列嵌入、细胞图像特征在进入主干网络前拼接为一个联合向量。它的优势是跨模态交互发生得早，理论上能捕捉细粒度耦合；代价是各模态量纲、缺失率和噪声水平被强行拉平，某一模态的缺失或异常会直接污染联合表示。

晚期融合（late fusion）让每个模态各自经过独立编码器得到预测或嵌入，再在决策层做加权、投票或堆叠。它天然容忍模态缺失，工程上更稳健，但跨模态交互只发生在最后一步，难以建模“分子结构改变如何影响蛋白结合构象”这类需要中间层交互的关系。

交叉注意力（cross-attention）用一个模态的表示作为 query，去检索另一个模态的 key/value，从而在中间层建立可学习的对齐。它适合处理模态间存在局部对应关系的任务，例如分子子结构与结合口袋残基的对应。其评估重点在于对齐是否真实、注意力是否稳定，而非仅仅看下游任务精度。

对比学习（contrastive learning）不直接拼接特征，而是把同一实体的不同模态表示拉近、把不同实体的表示推远，学习一个共享嵌入空间。它擅长跨模态检索与零样本迁移，但评估必须关注负样本构造、模态间信息量是否对等，以及嵌入空间是否被某一模态主导。

二、评估侧重点的差异

不同融合架构的评估目标并不相同。对早期融合，应重点评估模态缺失鲁棒性与量纲敏感性：可以设计“随机屏蔽某一模态 30% 输入”的扰动实验，观察 AUC 下降幅度；若下降超过 0.08，说明联合表示过度依赖单一模态。对晚期融合，应评估各模态独立贡献与融合增益：分别记录单模态基线、简单平均融合、加权融合三组结果，若加权融合相对最佳单模态提升不足 0.02，则融合层可能未真正发挥作用。

对交叉注意力，评估重点从“结果对不对”转向“对齐是否可信”。常用做法是：在已知对应关系的验证集上计算注意力权重与真实对齐的秩相关，或做注意力掩码消融——屏蔽高注意力区域后观察性能是否显著下降。若屏蔽后性能几乎不变，说明注意力可能只是装饰性模块。对对比学习，评估必须包含检索指标（如 Recall@1、Recall@5）与嵌入空间诊断（如模态间相似度分布、有效秩），仅看下游分类精度会掩盖对齐失败。

三、常见偏差来源与识别方法

第一类是模态捷径。当某一模态在训练集中与标签高度相关时，模型可能忽略其他模态。识别方法是做模态置换测试：把验证集中某模态替换为随机噪声，若性能几乎不降，说明该模态未被真正使用。第二类是伪对齐。交叉注意力可能在位置或批次统计上形成虚假对应，尤其在样本量小、模态长度不一致时。可通过打乱样本配对后观察注意力分布是否仍“看起来合理”来识别。

第三类是负样本偏差。对比学习中，若负样本与正样本实际属于同一药物家族或同一靶点，会形成假负样本，导致嵌入空间被错误压缩。建议在构造负样本时加入相似性过滤，例如按分子骨架相似度或靶点家族排除近邻。第四类是评估集泄漏。多模态数据常来自同一批实验或同一来源，若随机划分而非按化合物骨架、蛋白家族或时间划分，融合模型可能记住模态间的表面共现，导致指标虚高。

四、一个可复用的评估检查清单

需要强调的是，融合架构的选择与评估设计应同步进行。若在实验后期才补做模态扰动或对齐检验，往往已经无法区分“模型没学到”与“评估没测到”。更稳妥的做法是：在确定融合方式时，就明确该架构最可能失效的环节，并把它转化为一条可执行的评估用例。例如选择交叉注意力时，就应提前准备带真实对齐标注的小规模验证集；选择对比学习时，就应提前定义负样本过滤规则。这样，评估才不只是给模型打分，而是真正回答“融合是否按预期发生”。