3. 视觉语言模型核心架构

在驾驶视觉语言模型（Driving VLM）的工程实践中，模型架构的选择直接决定了系统对道路场景的理解能力、推理延迟与部署成本。本节从视觉编码、跨模态对齐、语言生成三个层面，梳理 Transformer、ViT、CLIP、BLIP、LLaVA 等典型结构，并分析它们在驾驶场景中的适配性差异。

一、核心原理：从通用架构到驾驶适配

Transformer 是当前所有主流 VLM 的底座，其自注意力机制允许模型在长序列中建立全局依赖。在驾驶场景中，这意味着模型可以同时关注远处交通信号灯、近处行人以及仪表盘信息，而不是像卷积网络那样受限于局部感受野。

ViT（Vision Transformer）将图像切分为固定大小的 patch，展平后加上位置编码送入 Transformer 编码器。它的优势在于结构统一、易于与文本模态拼接；劣势是对高分辨率输入的计算量呈平方级增长。驾驶场景中常见的 1920×1080 前视图像，若直接以 16×16 patch 切分，会产生约 8000 个 token，对实时推理构成压力。

CLIP 通过对比学习将图像编码器与文本编码器映射到同一嵌入空间，具备零样本分类与图文检索能力。在驾驶场景中，CLIP 常被用作视觉骨干的预训练权重来源，或用于构建“图像—描述”对齐的弱监督信号。但 CLIP 本身不具备生成能力，无法直接输出“前方车辆正在减速”这类结构化描述。

BLIP 在 CLIP 基础上引入跨模态注意力与语言解码器，支持图文理解与生成。BLIP-2 进一步提出 Q-Former，用少量可学习查询向量从冻结的视觉编码器中提取与文本最相关的视觉特征，大幅降低训练成本。这一设计对驾驶场景尤为重要：车载数据标注昂贵，冻结视觉骨干、只训练跨模态适配器，是工程上更可行的路径。

LLaVA 将 ViT 视觉编码器与 Vicuna 等大语言模型通过一个简单的线性投影层连接，形成“视觉编码—投影—语言生成”的极简架构。其训练分两阶段：先冻结视觉与语言模型，只训练投影层完成模态对齐；再联合微调投影层与语言模型，提升指令跟随能力。LLaVA 的轻量适配思路使其成为驾驶 VLM 微调中最常被复现的基线之一。

二、方法流程：驾驶 VLM 的典型训练与推理链路

以 LLaVA 架构为例，驾驶场景的适配流程通常分为四个阶段：

1. 视觉编码阶段：使用在驾驶数据上继续预训练的 ViT 或 CLIP 视觉塔，提取前视、环视、驾驶员监控等多路图像特征。
2. 跨模态投影阶段：通过线性层或 Q-Former 将视觉 token 映射到语言模型嵌入空间，完成模态对齐。
3. 指令微调阶段：构造“图像 + 驾驶问题 → 自然语言回答”的指令数据，联合微调投影层与语言模型。
4. 推理部署阶段：将模型量化、蒸馏或裁剪后部署到车端，结合缓存机制降低重复视觉编码开销。

{
  "image": "front_cam_2024_03_15_08_32_11.jpg",
  "conversations": [
    {"from": "human", "value": "描述当前前方道路状况。"},
    {"from": "gpt", "value": "前方为三车道城市道路，左车道有白色轿车正在减速，右前方有电动自行车靠近车道线，建议保持当前车道并适当降低车速。"}
  ]
}

三、案例/场景：不同架构在驾驶任务中的表现差异

在交通标志识别任务中，CLIP 零样本分类可达到较高召回率，但无法输出位置与状态描述；BLIP-2 在图文描述任务中表现更优，但推理延迟较高；LLaVA 在指令跟随与多轮对话中最为灵活，适合作为驾驶助手交互层。实际工程中，常见做法是“CLIP 做预筛选 + LLaVA 做精细描述”的级联架构。

四、误区与复盘：驾驶场景适配中的常见问题