2. 驾驶场景基础

在进入多摄像头视频语言模型（Video-Language Model, VLM）的工程实现之前，必须先建立一套统一的“场景语言”。自动驾驶感知不是单一模型的任务，而是一条从传感器到语义、从像素到决策的完整链路。多摄像头系统提供了环视覆盖，视频语言模型则负责把连续画面转成可被语言描述、可被推理的语义表示。理解这三者的定义与术语，是后续数据标注、模型训练和评测的基础。

一、核心原理：从感知任务到语言语义

自动驾驶感知任务通常分为四类：检测（定位目标并分类）、分割（像素级区域划分）、跟踪（跨帧维持目标身份）、预测（推断目标未来轨迹）。这些任务输出的是结构化张量，例如边界框、掩码、轨迹点。而视频语言模型的目标，是把这些结构化信息与自然语言对齐，使模型能够回答“前方车辆是否在减速”“左侧车道是否可变道”等问题。

多摄像头系统是这一过程的输入基础。典型布置包括前视、前侧、后侧、后视等 6 至 8 路相机，覆盖 360° 视野。每路相机有独立的内参（焦距、主点）和外参（相对车体坐标系的位姿）。多摄像头带来的核心挑战是时间同步与空间对齐：不同相机曝光时刻必须对齐到同一时间戳，不同视角的图像必须投影到统一的车体坐标系或 BEV（Bird's Eye View）空间。

二、方法流程：多摄像头到语言输出的处理链路

从工程角度看，一条完整的处理链路包含以下步骤：

1. 采集与同步：多路相机以固定帧率采集，通过硬件触发或软件时间戳对齐，形成同一时刻的多视角图像组。
2. 单视角特征提取：每路图像经过 CNN 或 ViT 骨干网络，得到特征图。
3. 跨视角融合：通过 BEV 投影、注意力机制或 3D 卷积，将多视角特征融合为统一的空间表示。
4. 时序建模：对连续帧特征进行时序聚合，捕捉目标运动与场景变化。
5. 语言对齐与生成：将融合后的视觉特征映射到语言模型的嵌入空间，由解码器生成描述、回答或决策文本。

下面是一个简化的配置示例，展示多摄像头输入与语言输出的参数关系：

# 多摄像头视频语言模型输入配置示例
cameras:
  - name: front_wide
    resolution: [1920, 1080]
    fps: 30
    intrinsics: [1200.0, 1200.0, 960.0, 540.0]
  - name: front_left
    resolution: [1920, 1080]
    fps: 30
  - name: rear
    resolution: [1280, 720]
    fps: 30

temporal_window: 8        # 输入视频帧数
language_model: "drive-vlm-base"
max_output_tokens: 128
task: "scene_description"  # 可选：qa / caption / decision

三、案例/场景：一个典型的驾驶理解片段

假设车辆在城市道路行驶，前视相机捕捉到前方公交车靠站，左侧相机看到有行人靠近路沿，后视相机显示后方车辆跟车较近。多摄像头 VLM 需要综合这些信息，输出类似“前方公交车停靠，左侧有行人可能横穿，后方车辆距离较近，建议保持车道并减速”的描述。

这个案例中涉及多个术语：BEV 空间用于统一多视角位置；时间窗口决定模型能看到多少历史帧；指令微调让模型学会按驾驶语义输出；幻觉则指模型生成了画面中不存在的目标或错误关系。工程上必须通过评测集和人工复核来抑制幻觉。

四、误区与复盘：容易混淆的几个概念

在工程实践中，初学者常把“多摄像头”等同于“多视角融合”，但两者并不相同。多摄像头只是硬件基础，融合才是算法目标。另一个常见误区是把视频语言模型当作纯文本模型使用，忽略时序窗口和空间对齐，导致输出与画面不一致。