1. 课程导入

欢迎进入《驾驶视觉语言模型训练与微调工程》课程。在正式动手训练模型之前，我们需要先建立一张清晰的"认知地图"：驾驶视觉语言模型（Driving Vision-Language Model，简称 Driving VLM）到底是什么，它从哪里来，能解决哪些真实问题，以及本课程将带你走过怎样的工程路径。本章不涉及复杂代码，但它是后续 29 章的技术坐标系——只有先理解对象与目标，后面的数据、架构、微调与部署才不会变成零散的知识点。

一、核心定义：什么是驾驶视觉语言模型

驾驶视觉语言模型是一类面向自动驾驶与智能座舱场景的多模态大模型。它接收车载摄像头图像（有时还包括激光雷达投影、毫米波雷达、CAN 总线状态等），将其与自然语言指令或问题一起编码，输出结构化的驾驶语义，例如场景描述、风险判断、决策解释、控制建议或人机对话回复。

与传统的感知模型相比，它的关键差异在于"语言接口"：传统模型输出的是检测框、分割掩码或轨迹坐标，而 Driving VLM 输出的是可被人类理解、也可被下游模块解析的自然语言或结构化文本。这使得它天然适合承担"可解释决策""长尾场景理解""人机共驾交互"等任务。

二、发展历程：从感知到语言，再到驾驶专用

理解发展脉络，有助于判断技术选型。驾驶 VLM 的演进大致可分为四个阶段：

• 阶段一：模块化感知（2012—2018）。CNN 负责检测与分割，规则或小模型负责决策。系统可解释性差，模块间误差累积严重。
• 阶段二：通用视觉语言预训练（2019—2022）。CLIP、BLIP、Flamingo 等模型证明了图文对齐的可行性，但它们是"通用世界"的模型，对车道线、交通参与者意图、驾驶规则几乎无感。
• 阶段三：驾驶专用 VLM 兴起（2023—2024）。DriveLM、DriveGPT4、OmniDrive 等工作开始用驾驶问答数据微调 VLM，使其具备场景描述与决策解释能力。
• 阶段四：端到端与工程化（2024 至今）。VLM 与规划控制模块联合训练，强调推理延迟、数据闭环与车端部署，工程问题成为瓶颈。

可以看到，技术重心正从"模型能不能说"转向"模型说得准不准、快不快、能不能上车"。这正是本课程强调"训练与微调工程"而非单纯算法研究的原因。

三、典型应用场景

驾驶 VLM 的价值不在于替代所有感知模块，而在于处理那些"规则难写、标注昂贵、需要语义推理"的场景。以下是最常见的四类落地方向：

四、课程学习路线图与常见误区

本课程共 30 章，整体遵循"数据 → 架构 → 训练 → 微调 → 评测 → 部署"的工程主线。前 6 章建立数据与标注体系，中间 12 章深入模型架构与训练策略，后 12 章聚焦微调、评测、部署与数据闭环。每一章都会给出可运行的配置片段或命令，而不是停留在概念层面。

# 课程主线示意（伪配置）
pipeline:
  data:        # 第2-6章：采集、标注、清洗、配比
  architecture:# 第7-12章：视觉编码器、投影层、语言模型
  pretrain:    # 第13-18章：图文对齐、驾驶语料预训练
  sft:         # 第19-24章：指令微调、LoRA、偏好优化
  eval:        # 第25-27章：指标、评测集、人工评估
  deploy:      # 第28-30章：量化、推理加速、数据闭环

在开始之前，先澄清三个常见误区：

• 误区一：通用 VLM 直接上车即可。通用模型对车道线、交通规则、驾驶意图缺乏对齐，直接使用会产生"看似合理但危险"的输出。
• 误区二：数据越多越好。驾驶数据的价值密度差异极大，低质量、重复、标注错误的样本会显著拖累微调效果，配比比数量更重要。
• 误区三：只关注模型指标。车端部署的延迟、显存、功耗往往才是真正的瓶颈，训练阶段就必须为部署预留空间。

本章建立了三个关键认知：驾驶 VLM 是"视觉 + 语言 + 驾驶对齐"的三层能力叠加；它的发展正从算法研究走向工程化落地；本课程将沿着数据、架构、训练、微调、评测、部署的主线逐步展开。接下来，我们将从最基础也最容易被低估的环节——驾驶多模态数据的采集与标注体系——开始动手。