第二章 多模态基础理论与高频算法考点

🎯 面试问题：请简述多模态对齐的核心技术及其挑战。

🔍 考察点：基础概念清晰度、挑战识别能力、主流方法掌握的广度。

🧩 回答框架：

1. 定义对齐：将不同模态映射到共享语义空间；
2. 三大挑战：异构鸿沟、细粒度对应困难、弱监督数据稀疏；
3. 主流方法：对比学习（CLIP）、跨注意力（ALBEF）、hard negative mining；
4. 评估指标：R@1/5/10、Recall、MRR。

💬 示例回答：多模态对齐旨在将图像与文本映射至统一语义空间。核心挑战在于异构数据鸿沟、细粒度对应难及弱监督数据稀疏。主流方法以CLIP为代表的对比学习，通过InfoNCE损失拉近正样本、推开负样本。评估常用检索召回率R@1，工业中还需考虑延迟。

❓ 可能追问：对比学习中负样本如何选取？数据量不足时如何改进？

⚠️ 避坑提醒：避免只罗列模型名称，要讲清楚“对齐本质是空间映射，难点在语义粒度匹配”。

🎯 面试问题：多模态融合有哪些经典架构？如何根据场景选择？

🔍 考察点：架构理解深度、设计决策依据、模型选型经验。

🧩 回答框架：

1. 三类融合：Early（特征拼接）、Late（决策平均）、Intermediate（cross-attention）；
2. 选择依据：数据量、对齐精度要求、计算资源；
3. 代表模型：ViLT（中间融合）、CLIP（late融合）、Flamingo（gated cross-attn）。

💬 示例回答：早期融合简单但模态交互弱；晚期融合可并行但缺深层对齐；中间融合如Transformer cross-attention能动态建模跨模态关联。我根据业务数据量选择：数据少用晚融合，精度要求高用中间融合。例如团队曾从ViLT改为Flamingo结构，效果提升20%。

❓ 可能追问：Cross-attention与self-attention的核心区别？如何降低计算量？（参考Perceiver、松耦合交叉注意力）

⚠️ 避坑提醒：不要只回答“模型A用了融合”，要解释“为什么在这个场景选它而不选别的”。

🎯 面试问题：多模态生成任务中，如何保证生成内容与输入模态一致性？

🔍 考察点：生成质量理解、一致性技术手段、评价体系。

🧩 回答框架：

1. 一致性度量：CLIP Score、text-image retrieval、Cycle Consistency；
2. 技术手段：条件注入（ControlNet）、对抗训练、多任务联合学习；
3. 典型模型：DALL·E 2、Stable Diffusion+ControlNet、CM3Leon。

💬 示例回答：主要靠条件控制扩散过程，如用CLIP embedding引导图像生成；或在训练中加入Cycle一致性损失，使生成文本再重建图像与原图匹配。评估上我们同时看CLIP Score和FID，前者保证语义对齐，后者控制视觉质量。

❓ 可能追问：条件控制如何设计噪声调度？如何防止模式坍塌？

⚠️ 避坑提醒：不要回答“用CLIP就好了”，要深入条件注入方式（如 ControlNet zero-conv、classifier-free guidance）。