1. 课程导入

自动驾驶正在从“感知目标、预测轨迹、规划路径”的模块化流水线，走向以视觉语言模型（Vision-Language Model, VLM）为核心的端到端认知系统。传统感知栈擅长回答“前方有什么”，却难以回答“此刻发生了什么、为什么危险、下一步应该怎么做”。VLM 的价值，正是把图像、点云投影、文本指令与车辆状态统一到同一语义空间，让车辆具备可解释的场景理解与常识推理能力。本课程的目标，是带你从零建立一套可落地的自动驾驶 VLM 工程方法论。

一、核心概念：从“感知”到“认知”的跃迁

要理解自动驾驶 VLM，先要区分三组关键概念。第一组是多模态对齐：把摄像头图像、激光雷达点云、毫米波雷达目标、高精地图与自然语言指令映射到共享嵌入空间，使模型能在同一语义层面比较“图像中的红色卡车”和“文本中的大型车辆”。第二组是场景推理：模型不仅识别对象，还要推断对象间关系、意图与风险，例如“行人正看向来车方向，可能即将横穿”。第三组是工程闭环：从数据采集、标注、训练、评测到车端量化部署，形成可迭代的工程体系。

与通用 VLM 不同，自动驾驶 VLM 有三个硬约束：实时性（车端通常要求百毫秒级响应）、安全性（错误推理可能直接导致碰撞）、可解释性（必须给出决策依据以通过功能安全审查）。这决定了它不能简单套用云端大模型，而需要在模型结构、输入表示与推理策略上做专门设计。

二、方法流程：一条可复用的工程链路

自动驾驶 VLM 的工程落地不是“拿一个开源模型微调”这么简单，而是一条环环相扣的链路。下面给出本课程贯穿始终的六步流程：

1. 场景定义与数据采集：明确要解决的长尾场景（如无保护左转、施工区绕行、鬼探头），按场景维度采集多传感器同步数据。
2. 多模态数据构造：将图像、点云、车辆状态与人工/自动标注的文本描述对齐，形成“输入-指令-答案”三元组。
3. 模型选型与适配：选择视觉编码器、语言模型底座与跨模态连接器，确定参数量与车端算力预算的匹配关系。
4. 提示工程与微调：设计场景推理提示模板，采用 LoRA/QLoRA 等参数高效微调方法注入驾驶领域知识。
5. 评测与安全验证：构建场景问答准确率、风险召回率、幻觉率等指标，结合仿真与实车回放验证。
6. 车端部署与迭代：通过量化、算子融合、KV Cache 优化降低延迟，建立数据回流与持续迭代机制。

三、案例场景：一个无保护左转的推理实例

假设车辆在城市路口准备无保护左转，对向有直行车辆，右侧有行人等待过街。传统感知输出是：对向车辆距离 35 米、速度 40 km/h；行人位于右前方 8 米。而 VLM 需要进一步推理：对向车辆是否减速？行人是否与我对向车辆存在视线遮挡？如果我现在左转，是否存在“对向车不让行 + 行人突然起步”的复合风险？

一个典型的 VLM 输入输出可以表示为：

输入指令：
"你是一名自动驾驶场景分析助手。请根据当前多模态输入，
判断无保护左转是否安全，并给出风险等级与依据。"

模型输出：
"风险等级：中高。
依据1：对向直行车辆距离35m、速度40km/h，未见明显减速，
预计3.2s后到达冲突点。
依据2：右前方行人处于等待状态，但被对向车辆部分遮挡，
存在突然起步可能。
建议：暂缓左转，等待对向车辆通过或明显减速后再决策。"

这个例子说明，VLM 的输出不是简单的分类标签，而是带有因果链条的结构化解释。这种解释能力对自动驾驶的调试、责任界定与用户信任都至关重要。

四、产业价值与常见误区

从产业角度看，自动驾驶 VLM 的价值体现在三个层面：技术层面，它提供了统一的多模态认知框架，减少模块间信息损失；产品层面，它让车辆能处理未见过的新场景，提升泛化能力；商业层面，它降低了长尾场景的标注与规则维护成本，加速规模化落地。

五、本课程的知识地图

围绕上述框架，本课程将依次展开：多模态数据表示与对齐、视觉编码器与点云编码器、跨模态连接器设计、驾驶场景提示工程、参数高效微调、场景推理链构造、评测体系与安全验证、车端量化部署与推理加速、数据回流与持续学习。每一章都会给出可运行的代码片段、参数配置与工程检查清单。

学完本课程，你应该能够独立完成一个自动驾驶 VLM 原型系统：从场景数据构造开始，训练一个能回答驾驶场景问题的多模态模型，并把它优化到车端可接受的延迟范围内。更重要的是，你将建立一套“以安全为约束、以场景为中心、以工程闭环为方法”的系统思维。