第4章 多模态模型架构与对比学习
多模态模型是当前AI面试高频考点，尤其CLIP、ViLT、ALIGN、Flamingo等模型是对比学习与多模态融合的典型代表。面试中常围绕双塔/单塔架构、对比学习损失、训练数据、零样本能力、融合策略等方面提问。本章梳理核心模型原理并给出结构化的面试回答框架。
🎓 面试问答精选
Q1：请详细解释CLIP模型的架构和训练方式
考察点：对双塔对比学习的理解、训练数据缩放、Zero-shot原理。
回答框架：双塔（Image Encoder + Text Encoder） → 对比学习损失（InfoNCE） → 4亿图文对 → 零样本分类（通过文本prompt）。
示例回答：CLIP采用双塔结构，分别编码图像和文本为嵌入向量，通过InfoNCE损失最大化正对相似度、最小化负对。训练使用4亿图文对，支持零样本分类，无需微调即可在多个视觉任务上达到与监督模型相当的准确率。
可能追问：损失函数具体形式？图像编码器选择？与ViLT的架构差异？如何缓解模态不对齐？
Q2：ViLT与CLIP的主要区别是什么？
考察点：单塔与双塔架构理解、模态融合方式、计算效率。
回答框架：架构（单塔 vs 双塔）→ 输入处理（线性投影 vs 独立编码器）→ 融合时机（早期融合 vs 晚期交互）→ 训练目标（MLM+ITM+图文对比 vs 单一对比）。
示例回答：ViLT采用单Transformer同时对图像Patch和文本编码，实现早期模态融合；CLIP为双塔分离编码。ViLT训练使用多个预训练任务，计算量更大但适合下游精细理解；CLIP高效支持零样本，适合检索。
可能追问：ViLT的图像Patch Embedding如何实现？为什么不直接使用预训练视觉编码器？ViLT在VQA任务上的表现？
Q3：谈谈Flamingo模型在多模态理解中的创新点
考察点：大规模多模态生成式模型、冻结模型、Few-shot学习、交错数据。
回答框架：冻结视觉+语言模型 → Perceiver Resampler → 门控交叉注意力 → 大规模交错图文数据 → 少样本视觉问答。
示例回答：Flamingo创新在于冻结大规模视觉和语言模型，通过Perceiver Resampler将视觉特征压缩，利用门控交叉注意力层动态融合，训练使用交错图像文本数据，实现极少量标注样本下的视觉问答和Captioning，展现多模态Few-shot能力。
可能追问：门控注意力层如何工作？Perceiver Resampler的压缩比例？与PaLI、BLIP-2的区别？
📦 项目案例：基于CLIP的多模态商品检索系统
| 项目名称 | 基于CLIP的多模态商品检索系统 |
| 业务背景 | 电商平台需要支持用户通过自然语言描述搜索商品图片，替代纯文本或纯图像搜索，提升用户购买转化率。 |
| 规模指标 | 商品库百万级；检索延迟<200ms；Top-10准确率>85%；线上日均调用量50w+。 |
| 技术栈 | PyTorch、CLIP、FAISS、FastAPI、Redis、Docker |
| 核心难点 | ①图文语义对齐精度不足（通用CLIP对电商描述不敏感）；②百万级向量检索延迟难以达标；③长尾商品、小众品类覆盖差。 |
| 面试高频追问 | 如何缓解领域迁移问题？为什么选择CLIP而非ALIGN？如何评估检索效果？如何处理多义词（如“苹果”指水果还是品牌）？ |
| 可迁移回答话术 | “采用对比学习预训练模型作为通用底座，通过领域图文对进行增量微调（Domain Fine-tune），提升语义对齐精度；同时使用IVF-PQ倒排索引+乘积量化控制检索延迟在200ms内。评估上除了Recall@K，还引入人工标注的相关性打分。整套方案可快速迁移到垂直领域的图文检索任务，如医疗影像报告匹配、设计稿搜索等。” |