3. 多模态大模型架构：主流架构组成与跨模态融合机制
多模态大模型的核心挑战在于如何将视觉、文本（有时还包括音频、视频）等异构模态数据在统一的语义空间中进行对齐与融合。早期做法是将图像通过预训练视觉编码器（如ViT）转换为特征向量，再拼接到文本序列中，但这种方式在参数量、训练效率和跨模态交互深度上存在明显瓶颈。本章围绕Flamingo、LLaVA、Qwen-VL、四个代表性架构，剖析其组成模块、跨模态融合机制（注意力、交叉注意力、适配器）以及关键设计选择，帮助学习者建立从“看懂结构图”到“指导微调实践”的完整认知。
上图从宏观视角展示了多模态大模型的共性框架：视觉编码器负责将图像转换为特征序列，文本编码器处理语言输入，两者在融合模块中交互，最终由语言模型生成响应。不同架构的差异主要体现在融合模块的设计上——是采用交叉注意力、轻量适配器，还是简单的MLP投影，这直接决定了模型的表达能力、训练成本和推理效率。下面逐一拆解各架构的组成与设计逻辑。
3.1 Flamingo：冻结LLM与门控交叉注意力的先驱
核心原理
Flamingo（DeepMind, 2022）是首个展示“冻结大语言模型+轻量视觉适配”能够实现少样本多模态理解的大规模模型。其核心创新在于门控交叉注意力层（Gated Cross-Attention）：在预训练LLM的每一层Transformer块之间插入额外的交叉注意力模块，视觉特征作为Key/Value，文本隐藏状态作为Query。门控机制通过可学习的tanh门控因子控制视觉信息注入的强度，初始化为0，确保训练初期不破坏LLM的文本生成能力。
关键组成与设计选择
- 视觉编码器：使用预训练的NFNet或ViT，将图像编码为patch序列（如 288×288 输入产生 1024 个）。
- Perceiver重采样器：将可变长度的视觉压缩为固定数量（如64个）的隐向量，降低交叉注意力计算量。
- 门控交叉注意力层：插入在LLM的每个block之后，公式为 \( \text{out} = \text{attn}(x, v) \cdot \tanh(\alpha) + x \)，其中 \(\alpha\) 初始化为0。
- 训练策略：冻结LLM和视觉编码器，仅训练Perceiver和门控参数，总训练参数量不到总参数的10%。
| 组件 | 参数量占比 | 是否训练 | 作用 |
|---|---|---|---|
| 视觉编码器 (ViT-L/14) | ~30% | 冻结 | 提取视觉特征 |
| Perceiver重采样器 | ~5% | 训练 | 压缩视觉至固定长度 |
| 门控交叉注意力 | ~15% | 训练 | 跨模态融合 |
| LLM (Chinchilla-70B) | ~50% | 冻结 | 文本生成与推理 |
案例拆解：少样本图像描述
在Few-shot图像描述任务中，Flamingo接受4张示例图像及其对应文本描述作为上下文，再输入一张新图像。由于LLM被冻结，模型必须依靠门控交叉注意力将视觉信息“注入”到文本生成过程中。实际测试中，门控因子 \(\alpha\) 从0逐渐增大到约0.5，表明模型学会了在生成名词短语时增强视觉注意力，而在生成虚词时降低视觉权重。这种动态调节能力是纯拼接方法难以实现的。
常见误区
- 误区1：认为交叉注意力层数越多越好。实际上，Flamingo只在每2个LLM block后插入一层，过多会导致训练不稳定。
- 误区2：忽略Perceiver的压缩作用。如果不压缩，1024个视觉与文本序列做交叉注意力，计算复杂度会翻倍。
- 误区3：在微调时解冻LLM。Flamingo的架构设计假设LLM完全冻结，解冻会导致灾难性遗忘。
3.2 LLaVA：极简MLP投影与指令微调范式
核心原理
LLaVA（Large Language and Vision Assistant，2023）采用最简洁的架构：视觉编码器 + MLP投影层 + LLM。没有交叉注意力，没有重采样器，视觉通过一个两层的MLP直接映射到LLM的嵌入空间，然后与文本拼接输入LLM。这种设计的核心假设是：LLM本身具备强大的模式学习能力，只要视觉特征被映射到合适的语义空间，LLM就能理解图像内容。
关键组成与设计选择
- 视觉编码器：CLIP ViT-L/14@336px，输出576个patch 。
- MLP投影层：两层线性层+GeLU激活，将视觉维度从1024映射到LLM的隐藏维度（如4096）。
- LLM：Vicuna-7B/13B，支持指令跟随。
- 训练两阶段：阶段一冻结视觉编码器和LLM，只训练MLP投影层（特征对齐）；阶段二冻结视觉编码器，训练MLP+LLM（指令微调）。
判断方法：何时选择MLP投影而非交叉注意力？
| 条件 | 选择MLP投影 | 选择交叉注意力 |
|---|---|---|
| 训练数据量 | <100万图文对 | >1000万图文对 |
| 推理延迟要求 | 低延迟（无额外注意力计算） | 可接受较高延迟 |
| 视觉数量 | 固定分辨率（如336×336） | 需要处理高分辨率或多图 |
| 微调预算 | 低（仅训练MLP+LoRA） | 中（需训练交叉注意力层） |
案例拆解：LLaVA在视觉问答中的表现
在ScienceQA数据集上，LLaVA-7B仅使用约60万条指令数据微调，准确率达到90.2%，远超同期Flamingo-80B的87.1%。关键原因在于：MLP投影虽然简单，但配合指令微调数据，LLM能够学会“如何看”图像。具体训练时，输入格式为：USER: <image>\n问题？ ASSISTANT: 答案。MLP将视觉映射后，与文本拼接，LLM在自回归生成时能通过注意力机制自发关注相关视觉区域。
常见误区
- 误区1：认为MLP投影过于简单，无法处理复杂视觉关系。实际上，LLM的深层注意力可以补偿投影层的信息损失。
- 误区2：跳过阶段一直接进行指令微调。这会导致MLP随机初始化，LLM无法理解视觉的含义，训练不收敛。
- 误区3：使用过大的视觉数量（如1024个）而不做降采样。这会显著增加LLM的输入序列长度，导致显存溢出。
3.3 Qwen-VL：动态分辨率与交叉注意力+Adapter的混合方案
核心原理
Qwen-VL（阿里通义千问团队，2023）在LLaVA的基础上引入了两个关键改进：动态分辨率机制和交叉注意力+Adapter混合融合。视觉编码器不再固定输入尺寸，而是根据图像宽高比动态调整patch划分，最多支持1280×1280分辨率。融合模块采用两层设计：第一层是轻量交叉注意力（每4个LLM层插入一次），第二层是Adapter（在FFN后添加），两者共同作用实现细粒度视觉理解。
关键组成与设计选择
- 视觉编码器：OpenCLIP ViT-bigG，支持动态分辨率，输出数随输入尺寸变化（如 448×448 产生 1024 个）。
- 位置编码：使用2D RoPE（旋转位置编码），确保不同分辨率下的位置信息准确。
- 交叉注意力层：每4个LLM层插入一次，使用可学习的查询向量（query tokens）从视觉特征中提取信息。
- Adapter层：在LLM的FFN之后添加，采用瓶颈结构（降维再升维），参数量约为LLM的2%。
案例拆解：高分辨率文档理解
在中文文档OCR任务中，Qwen-VL能准确识别表格结构和手写文字。其动态分辨率机制将文档图像按长边缩放至1280像素，patch大小为28×28，产生约1600个视觉。交叉注意力层负责定位文本区域，Adapter层则增强了对细粒度字符特征的提取。实际测试中，Qwen-VL在OCRBench上达到78.5分，远超LLaVA-1.5的62.3分。
常见误区
- 误区1：将交叉注意力和Adapter视为二选一。Qwen-VL证明两者可以互补——交叉注意力负责全局对齐，Adapter负责局部特征增强。
- 误区2：忽略位置编码的适配。动态分辨率下，必须使用2D RoPE或ALiBi等外推能力强的位置编码，否则模型无法处理训练时未见过的分辨率。
- 误区3：在微调时同时更新视觉编码器和LLM。Qwen-VL默认冻结视觉编码器，只训练交叉注意力、Adapter和LLM的LoRA层，这样能保持视觉特征的稳定性。
3.4 ：闭源标杆与多模态对齐的工程启示
核心原理
（，2023）未公开架构细节，但从已知信息推断，其采用深度交叉注意力融合，视觉编码器为高分辨率多尺度ViT，支持图像、视频、图表等多种视觉输入。与前述架构不同，更强调多模态指令跟随能力——模型能根据用户指令灵活切换“看图说话”“图像推理”“视觉问答”等模式。
设计选择与工程启示
- 多尺度视觉特征：将图像缩放为多个分辨率（如低分辨率全局视图+高分辨率局部视图），分别编码后融合，提升小目标检测能力。
- 视觉降采样：通过可学习的池化层将高分辨率特征压缩至固定长度（如256个），控制计算成本。
- RLHF对齐：在指令微调后，使用人类反馈强化学习优化模型对视觉信息的“关注策略”——例如，当用户问“图片中有几只猫”时，模型应聚焦于猫的区域而非背景。
案例拆解：复杂图表推理
在金融图表分析场景中，能理解折线图的趋势、柱状图的对比关系，并生成自然语言结论。其多尺度机制确保既能看清图表标题（低分辨率全局），又能读取坐标轴数值（高分辨率局部）。实际测试中，在ChartQA上达到85.2%准确率，而开源模型普遍低于70%。
常见误区
- 误区1：盲目追求高分辨率。的多尺度设计是为了平衡性能与计算，实际微调时，如果显存有限，优先使用448×448分辨率并配合降采样。
- 误区2：忽略指令跟随的多样性。的成功很大程度归功于海量指令数据，微调时应覆盖“描述”“问答”“推理”“比较”等多种任务类型。
- 误区3：认为闭源模型无法借鉴。实际上，的架构思路（多尺度、深度交叉注意力、RLHF）已在开源社区得到验证，如InternVL、CogVLM等。
3.5 架构选型决策框架与微调实战建议
核心原理：如何根据任务选择架构
没有“最好”的架构，只有“最合适”的架构。选型需考虑三个维度：任务复杂度（是否需要细粒度视觉理解）、资源约束（显存、训练时间）、数据规模（图文对数量）。
| 任务类型 | 推荐架构 | 理由 |
|---|---|---|
| 粗粒度图像描述 | LLaVA (MLP投影) | 简单高效，数据需求低 |
| 细粒度OCR/文档理解 | Qwen-VL (交叉注意力+Adapter) | 动态分辨率+局部增强 |
| 少样本多模态推理 | Flamingo (门控交叉注意力) | 冻结LLM，快速适应新任务 |
| 复杂图表/多图推理 | 风格 (多尺度+深度交叉注意力) | 全局+局部信息融合 |
判断方法：三步选型流程
- 评估任务粒度：如果任务需要识别图像中的小物体、文字或精确位置，选择支持高分辨率或动态分辨率的架构（Qwen-VL、风格）；如果只需整体语义，LLaVA足够。
- 盘点资源：显存<24GB时，选择LLaVA+LoRA微调；显存≥40GB时，可尝试Qwen-VL的交叉注意力方案；Flamingo适合算力有限但需要少样本能力的场景。
- 检查数据：如果只有10万级图文对，优先LLaVA；如果有百万级数据，可训练交叉注意力层；如果数据质量高且任务多样，考虑混合Adapter方案。
案例拆解：从零微调一个商品描述生成模型
背景与约束：某电商平台需要为商品图片生成结构化描述（品牌、颜色、材质、适用场景），现有5万张商品图，每张图配有人工撰写的描述文本，显存资源为4×A100（40GB）。
初始现象：直接使用LLaVA-1.5-7B微调，生成描述准确率仅68%，且经常混淆颜色和材质。
分析判断：商品图包含大量细节（如标签文字、材质纹理），LLaVA的336×336分辨率不足以捕捉这些信息；且MLP投影层对细粒度特征映射不足。
实际操作：
1. 更换为Qwen-VL-7B作为基座，利用其动态分辨率机制，将商品图缩放至448×448；
2. 冻结视觉编码器，使用LoRA（rank=16）微调LLM，同时训练交叉注意力层；
3. 在指令数据中增加“请描述图片中商品的品牌标签文字”等细粒度问题，占比30%。
结果对比：微调后准确率提升至89%，其中材质识别准确率从72%提升至94%。
风险与代价：训练时间从8小时增加到14小时（动态分辨率增加计算量），但推理延迟仅增加15%。
复盘经验：对于细粒度任务，架构选型比数据量更重要——同样的数据，Qwen-VL比LLaVA提升21个百分点。