3、多模态大模型基础：视觉-语言模型（如CLIP、LLaVA）的结构、训练范式与推理流程

视觉-语言模型（Vision-Language Model, VLM）是端侧多模态大模型的核心载体。在边缘设备上部署VLM，首先需要理解其底层架构设计逻辑：模型如何将图像与文本映射到同一语义空间，如何通过训练对齐两种模态，以及推理时数据如何流动。本章以CLIP（对比学习双塔）和LLaVA（大语言模型驱动的视觉指令跟随）为典型代表，深入拆解其结构差异、训练范式和推理流程，为后续的量化、剪枝与端侧部署奠定理论基础。

3.1 核心原理：从双塔对比到单塔生成

视觉-语言模型的发展经历了两个关键阶段：以CLIP为代表的双塔对比学习架构，以及以LLaVA为代表的单塔生成式架构。理解这两种架构的本质区别，是选择端侧部署方案的前提。

CLIP（Contrastive Language-Image Pre-training）采用双塔结构：图像编码器（通常为ViT或ResNet）和文本编码器（通常为Transformer）分别独立提取特征，然后通过对比学习将两种模态的特征映射到同一向量空间。其核心思想是最大化匹配图像-文本对之间的余弦相似度，同时最小化不匹配对的相似度。训练完成后，CLIP可以用于零样本分类、图文检索等任务，但不具备生成能力——它只能判断“像不像”，不能“说出来”。

LLaVA（Large Language and Vision Assistant）则采用单塔生成式架构：将视觉编码器输出的特征通过一个投影层（Projection Layer）映射为“视觉”，与文本拼接后输入大语言模型（LLM），由LLM统一进行自回归生成。这种设计让模型不仅能理解图像内容，还能用自然语言描述、推理、对话，真正实现了“看得见、说得出”。

3.2 训练范式：三阶段演进与数据策略

VLM的训练并非一蹴而就，而是遵循“预训练-对齐-指令微调”的渐进式范式。以LLaVA为例，其训练流程可分为三个阶段：

在端侧部署场景中，我们通常不重新训练视觉编码器和LLM，而是直接使用开源预训练权重，仅针对特定垂直场景（如工业质检、医疗影像）进行轻量级微调。常用的做法是：冻结视觉编码器，使用LoRA（Low-Rank Adaptation）对LLM进行参数高效微调，同时微调投影层。这样训练出的模型大小通常只有原始模型的5%-10%，非常适合端侧存储和更新。

3.3 推理流程：从图像输入到文本输出

理解VLM的推理流程，是进行端侧优化（如算子融合、KV Cache量化）的基础。以LLaVA类模型为例，一次完整的推理包含以下步骤：

1. 图像预处理：将输入图像缩放至模型指定尺寸（如336×336），进行归一化（通常使用ImageNet的mean/std），并转换为张量格式。
2. 视觉特征提取：图像张量经过视觉编码器（ViT-L/14等），输出patch embeddings序列，形状为 [1, num_patches, hidden_dim]，例如 [1, 576, 1024]。
3. 特征投影：通过MLP投影层将视觉特征映射到LLM的embedding维度（如4096），得到视觉序列。
4. 文本化：将用户输入的文本指令（如“描述这张图片的内容”）通过分词器转换为 IDs，并经过embedding层得到文本序列。
5. 序列拼接：将视觉和文本按特定格式拼接（如 <image> + 文本），形成完整的输入序列。
6. 自回归生成：LLM逐生成回答，每生成一个，将其追加到输入序列末尾，直到生成结束符或达到最大长度。

# 伪代码示例：LLaVA推理核心流程
def llava_inference(image, text_prompt, model, tokenizer):
    # 1. 图像预处理
    image_tensor = preprocess(image)  # [1, 3, 336, 336]
    # 2. 视觉特征提取
    vision_features = model.vision_encoder(image_tensor)  # [1, 576, 1024]
    # 3. 特征投影
    vision_tokens = model.projection(vision_features)  # [1, 576, 4096]
    # 4. 文本化
    text_tokens = tokenizer(text_prompt, return_tensors="pt")  # [1, seq_len]
    text_embeds = model.embedding(text_tokens.input_ids)  # [1, seq_len, 4096]
    # 5. 序列拼接
    input_embeds = torch.cat([vision_tokens, text_embeds], dim=1)
    # 6. 自回归生成
    output_ids = model.llm.generate(
        inputs_embeds=input_embeds,
        max_new_tokens=128,
        do_sample=False
    )
    return tokenizer.decode(output_ids[0], skip_special_tokens=True)

3.4 案例拆解：在Jetson Orin上部署LLaVA-7B的量化决策

假设我们需要在NVIDIA Jetson Orin NX（16GB内存）上部署LLaVA-7B模型，用于智能安防场景的实时图像描述。初始目标是：在保证描述准确率不低于原始模型95%的前提下，将首延迟控制在500ms以内，单次完整描述（约50个）延迟控制在3秒以内。

初始现象与约束：原始LLaVA-7B模型FP16权重约14GB，超出Orin NX可用内存（约12.5GB）。直接加载会导致OOM或频繁swap，无法满足实时性要求。

关键指标分析：

• 模型内存占用：14GB（FP16）→ 需压缩至12GB以下
• 视觉编码器（ViT-L/14）：约1.2GB，推理时间约80ms
• LLM（Vicuna-7B）：约12.8GB，生成速度约15 /s（FP16）

实际操作步骤：

1. 量化方案选择：对视觉编码器采用INT8动态量化（精度损失<0.5%），对LLM采用INT4权重量化（AWQ算法），将LLM权重压缩至约3.5GB。
2. 内存优化：启用KV Cache量化（INT8），将最大生成长度限制为128 ，预留约1GB内存给系统和其他进程。
3. 推理加速：使用TensorRT-LLM后端，开启FlashAttention和Paged KV Cache，将生成速度提升至约35 /s。
4. 精度验证：在COCO Caption验证集上对比量化前后模型，BLEU-4分数从32.1降至31.2（下降2.8%），满足95%阈值要求。

结果对比：

风险与代价：INT4量化在长文本生成时可能出现“幻觉”现象（生成与图像无关的内容），需通过温度参数调低（0.7→0.5）和重复惩罚（1.0→1.2）来缓解。此外，量化后的模型在低光照或模糊图像上的描述质量下降明显，需在部署时加入图像质量预检模块。

复盘经验：端侧VLM部署的核心矛盾是“内存带宽”而非“算力”。INT4量化虽然减少了计算量，但更大的收益来自减少内存搬运。建议在部署前先分析模型各部分的耗时占比，优先优化耗时最长的模块（通常是LLM的注意力计算），而非盲目追求低比特量化。

3.5 常见误区与总结复盘

在VLM的端侧部署实践中，以下误区需要特别警惕：

总结复盘：本章从CLIP和LLaVA两种典型架构出发，梳理了VLM的结构设计、训练范式和推理流程。核心要点可归纳为：

• 架构选择决定部署策略：CLIP适合轻量级检索，LLaVA适合生成式交互；端侧部署应优先考虑LLaVA类模型，但需接受更高的计算开销。
• 训练范式影响量化方案：三阶段训练中，视觉编码器和LLM通常直接复用开源权重，仅微调投影层和LoRA，这为端侧模型更新提供了便利。
• 推理流程是优化的“地图”：明确各阶段耗时占比，才能精准定位瓶颈。视觉编码器是“一次性”开销，LLM是“逐”开销，优化重点应放在后者。
• 量化不是万能的：INT4量化在内存受限场景下效果显著，但需配合校准数据、KV Cache量化和推理引擎优化，才能达到精度与速度的平衡。