📚 课程目录第1章课程导入

1. 课程导入

自动驾驶系统长期沿着“感知—预测—规划—控制”的模块化流水线演进：摄像头、激光雷达、毫米波雷达先完成目标检测与跟踪，预测模块推断他车与行人意图，规划模块生成轨迹，控制模块输出油门、刹车与转向。这条链路工程可控、可解释性强，但每一级模块都以“接口约定”的方式传递信息，上游的语义损失无法在下游恢复，长尾场景中容易出现“感知看到了、预测没理解、规划不敢走”的割裂现象。VLA（Vision-Language-Action）正是为缓解这种割裂而出现的一体化范式。

一、VLA 的基本定义

VLA 指以视觉（Vision）为主要输入模态，借助语言（Language）承载语义、常识与推理，并直接输出动作（Action）或动作序列的模型体系。它并不是“把三个模型拼在一起”，而是强调三者在同一表征空间内联合建模：视觉编码器把多视角图像、时序视频、BEV 特征压缩为 token；语言部分既可以是自然语言指令（如“在前方路口右转并礼让行人”），也可以是模型内部的语义推理链；动作头则输出轨迹点、控制量或离散动作 token。

核心公式可以概括为：Action = f(Vision, Language, History)。其中 History 表示自车状态、历史轨迹与场景时序，Language 既可作为外部指令，也可作为内部推理的中间表示。

与传统模块化方案相比，VLA 的关键差异在于“端到端可微”与“语义可对齐”。前者让梯度从动作损失回传到视觉编码器，使感知特征按驾驶任务需求被重塑；后者让语言成为连接人类意图与机器动作的桥梁，便于处理“礼让”“谨慎通过”“跟随前车”等难以用规则穷举的软约束。

二、发展脉络：从模块化到一体化

理解 VLA 需要把它放回自动驾驶技术演进的时间轴中。第一阶段是规则驱动的模块化系统，依赖高精地图与手工特征；第二阶段是深度学习增强的模块化系统，BEV、Transformer、Occupancy 网络显著提升了感知与预测能力；第三阶段是端到端自动驾驶，用一个大网络直接由传感器输入回归轨迹；第四阶段则是 VLA，在端到端基础上引入语言与多模态大模型能力，使系统具备常识推理、指令跟随与可解释输出。

这一脉络背后有两条推动力：一是数据规模与算力增长，使大参数量模型可以吞下海量驾驶视频；二是大语言模型与视觉语言模型（VLM）的成熟，让“语言作为推理接口”变得可行。于是，VLA 不再是单纯的感知模型，而是“驾驶大脑”的候选形态。

三、感知决策动作一体化的核心思想

一体化的核心不是“少写几个模块”，而是让信息在整条链路上保持语义一致。具体体现在三个层面：

表征一体化：视觉、语言、动作共享同一套 token 与注意力机制，避免手工接口造成的信息瓶颈。
目标一体化：训练损失同时覆盖感知辅助任务、语言对齐任务与动作回归任务，使视觉特征天然面向驾驶决策。
推理一体化：模型可以在输出动作前生成中间语义，例如“前方有施工锥桶，需向左微调”，让决策过程可追溯、可审计。

从工程视角看，一体化带来的直接收益是长尾场景泛化能力提升；代价则是数据要求更高、训练更复杂、可解释性与安全兜底需要重新设计。因此，VLA 并不是“抛弃模块化”，而是把模块化从网络结构层面转移到数据、训练与安全监控层面。

四、课程整体框架与典型场景

本课程围绕“数据—模型—训练—部署—评测—安全”六条主线展开，共 30 章。前段建立 VLA 概念与架构认知，中段深入视觉编码、语言对齐、动作解码与训练策略，后段覆盖车端部署、闭环评测、故障复盘与安全冗余。每一章都会落到可操作的工程对象上，而不是停留在概念介绍。

阶段	核心问题	关键产出
概念与架构	VLA 是什么、与端到端有何区别	架构图、术语表、能力边界
数据与表征	多模态数据如何对齐与 token 化	数据管线、标注规范、token 方案
模型与训练	视觉、语言、动作如何联合优化	训练配置、损失设计、消融结果
部署与评测	车端算力约束下如何落地	量化方案、时延指标、闭环评测报告
安全与复盘	失效模式如何发现与兜底	故障树、监控指标、冗余策略

一个典型场景可以说明一体化的价值：城市路口右转时，自车需要同时处理红绿灯、斑马线行人、右后方非机动车与对向左转车辆。模块化方案中，感知可能只输出“行人框”，预测输出“行人静止”，规划按规则等待，但若行人只是站在路边聊天，系统可能过度保守。VLA 则可以结合语言常识“路边交谈的行人大概率不会立即进入车道”，在安全前提下更果断地通过，同时保留可解释的推理记录。

学习建议：每读一章，先问三个问题——这一层解决什么驾驶问题？它的输入输出是什么？失效时会导致什么后果？把这三个问题写下来，比记住网络结构更有价值。

常见误区：把 VLA 等同于“大模型上车”。参数量大不等于驾驶能力强，若数据分布、动作空间与安全约束设计不当，大模型同样会在关键场景中失效。一体化也不意味着取消所有规则，法规约束、安全兜底与最小风险策略仍需独立实现。

# 本课程贯穿使用的配置示例（示意）
model:
  vision_encoder: "multi_view_vit"
  language_backbone: "vlm_7b"
  action_head: "trajectory_decoder"
  token_dim: 1024
training:
  losses: ["action_l1", "language_ce", "perception_aux"]
  batch_size: 64
  lr: 1.0e-4
deploy:
  quantization: "int8"
  latency_budget_ms: 100
  safety_fallback: "mrm_stop"

从本章开始，我们将沿着这条主线逐步拆解：先建立 VLA 的整体认知，再进入视觉编码、语言对齐、动作解码、训练与部署细节，最终形成一套可落地、可评测、可复盘的一体化工程方法。