第4章 多模态AI基础概念与模型架构：CLIP、ViLT、Flamingo等主流模型评估要点
多模态模型是近年来大厂面试的“必争之地”，从字节跳动的 Bento 到谷歌的 Gemini，底层架构理解直接决定面试深度。面试官往往要求你从模型设计动机、训练范式、模态交互方式三个层面解读主流模型。本章聚焦 CLIP、ViLT、Flamingo 三剑客，帮你构建多模态模型评估的系统性表达框架。
💡 面试核心判断：面试官不期待你复述，而是希望听到你对“架构选择与性能权衡”的深度理解，以及面对新模型时的快速分析框架。
🔑 表达加分点：使用本框架时，先说“该模型属于双塔/单塔架构”，再展开“训练方式”和“模态交互深度”，最后落到“这种设计在 Zero-shot/Few-shot 上的收益”。
多模态主流模型核心对比
| 模型 | 架构类型 | 视觉编码器 | 文本编码器 | 交互方式 | 核心优势 |
|---|---|---|---|---|---|
| CLIP | 双塔（不对称） | ViT / ResNet | Transformer | 对比学习（晚期融合） | Zero-shot 分类与检索 |
| ViLT | 单塔（统一） | 线性投影（无 Backbone） | Transformer | 自注意力（早期融合） | 极简架构，推理速度快 |
| Flamingo | 模块化（LLM 中心） | Perceiver Resampler | 冻结 LLM | Gated Cross-Attention | 多模态上下文学习 |
| BLIP-2 | 模块化（Q-Former 桥接） | ViT + Q-Former | 可选 LLM | 分阶段对齐训练 | 训练效率高，灵活性极强 |
⚠️ 避坑提醒：切忌只背模型缩写，面试官会直接追问“单塔 vs 双塔在梯度更新上的差异”或“Flamingo 如何避免灾难性遗忘”。必须准备好核心设计动机的解释。
🎤 面试问答卡片 1：CLIP 模型架构与 Zero-shot 原理
面试问题：
请详细介绍 CLIP 的架构与训练目标，并分析其 Zero-shot 分类能力的来源。
面试官考察点：
- 是否理解双塔架构的设计动机（早期分离训练，推理时共享嵌入空间）。
- 是否清楚对比学习如何在 4 亿图文对上工作。
- 是否理解 Zero-shot 背后的 Prompt Engineering 机制。
回答框架：
- 架构定位：双塔（视觉塔 + 语言塔），非对称设计。
- 训练机制：对比学习（InfoNCE Loss），拉近正样本对，拉远负样本对。
- Zero-shot 实现：构建“A photo of [class]”模板，在嵌入空间做最近邻匹配。
✍️ 简短示例回答（85字）：
CLIP 采用双塔架构，视觉端用 ViT，文本端用 Transformer。训练时使用对比学习，最大化正确图文对的余弦相似度。Zero-shot 分类先将类别标签转为文字 Prompt（如“A photo of a cat”），然后与图像特征在联合嵌入空间计算相似度，取最匹配的标签作为结果。
⤵️ 可能追问：
- CLIP 的 Zero-shot 在哪些场景下会失效？（细粒度分类、抽象概念）
- 双塔结构对比单塔结构在训练效率上有什么优势？（Batch 内可大量负采样）
⚠️ 避坑提醒：
不要只回答“用对比学习训练”。要强调Prompt Engineering是 CLIP Zero-shot 的实操关键，并提到随着训练数据增大，生成式模型（如 CoCa）正在缩小与 CLIP 的差距。
🎤 面试问答卡片 2：ViLT 的单塔轻量化设计
面试问题：
ViLT 与 CLIP 在架构上有什么本质区别？它的轻量化优势来源于哪些设计？
面试官考察点：
- 是否理解“有无独立视觉 Backbone”对模型设计的影响。
- 是否清楚单塔架构在模态交互深度上的优缺点。
- 是否能从“归纳偏置”的角度分析 ViLT 的瓶颈。
回答框架：
- 核心区别：ViLT 是单塔（早期融合），CLIP 是双塔（晚期融合）。
- 轻量化设计：移除独立视觉 Backbone，将图像 Patch 直接线性投影为 Embedding。
- 性能权衡：计算量小、参数少，但缺少视觉 CNN 的局部敏感性，处理细粒度任务较弱。
✍️ 简短示例回答（92字）：
ViLT 本质上是单塔架构，与 CLIP 的双塔不同。它移除了独立的视觉编码器 Backbone，将图像 Patch 线性投影后直接与文本 拼接送入 Transformer 进行统一运算。这使得模型架构极简、推理速度快，但由于缺少视觉归纳偏置，对图像细节的感知能力不如 CLIP 强，容易丢失空间信息。
⤵️ 可能追问：
- 如何改进 ViLT 视觉细节不足的问题？（引入 ELOC 或区域特征）
- ViLT 的 Embedding 结构具体是怎样的？（Patch Embedding + Embedding + 位置编码）
⚠️ 避坑提醒：
不要只说“ViLT 更简单”。面试官希望听到具体的“移除 Backbone”这一设计决策，以及你对该决策带来的计算效率与性能损失之间权衡的理解。
🔑 可迁移回答话术：当被问到不熟悉的模型时，可以从“连接视觉和语言的桥梁设计”这一通用范式切入回答。例如：“该模型本质上解决的是视觉特征如何高效传递给语言模型的问题，其核心设计是……”