📚 课程目录第2章端到端自动驾驶基础

2. 端到端自动驾驶基础

传统自动驾驶系统采用“感知—预测—规划—控制”的串行模块化架构，各模块独立训练、独立优化，模块之间的接口依赖人工定义（如目标框、轨迹、栅格地图）。这种设计可解释性强，但存在两个根本问题：一是模块间的信息瓶颈，感知输出的中间表示未必是规划最需要的形式；二是误差累积，上游模块的微小偏差会在下游被放大。端到端自动驾驶（End-to-End Autonomous Driving, E2E-AD）试图用统一的神经网络，把原始传感器输入直接映射为规划轨迹或控制信号，让梯度从规划损失反传回感知特征，实现全局联合优化。

2.1 一体化范式的核心原理

端到端范式的本质是“可微分的任务链”。感知、预测、规划不再是三个独立黑盒，而是同一计算图中的不同阶段，共享特征表示并接受多任务监督。其关键设计包括：

统一输入表示：多相机图像、激光点云、自车状态被编码为 BEV（鸟瞰图）特征或稀疏查询（query）token，作为全网络共享的中间表示。
任务查询机制：用一组可学习的 query 分别承担检测、跟踪、地图构建、运动预测和规划，通过注意力机制从共享特征中抽取各自所需信息。
规划导向的监督：除感知标签外，网络直接接受轨迹级损失（L2、碰撞惩罚、舒适度），使感知特征向“对规划有用”的方向演化。
时序融合：引入历史 BEV 特征或记忆队列，让模型具备对运动趋势和遮挡的推理能力。

核心思想：把“感知—预测—规划”从工程流水线变成一张可端到端求导的计算图，用规划损失统一驱动所有中间表示的学习。

2.2 主流模型架构对比

当前主流的端到端模型可归为三类代表：UniAD、VAD 和 TransFuser。它们分别体现了“全栈查询式”“向量化高效式”和“多模态融合式”三条技术路线。

模型	核心表示	架构特点	输入	输出
UniAD	BEV + 查询 token	感知-预测-规划全查询串联，逐级传递 query	多相机环视图像	检测、跟踪、地图、预测、规划轨迹
VAD	向量化场景表示	用向量描述地图与智能体，规划模块直接消费向量	多相机图像	向量地图、智能体运动、自车轨迹
TransFuser	图像 + LiDAR 融合特征	Transformer 融合多模态，输出 waypoint 序列	相机 + 激光雷达	未来路径点、控制量

UniAD 的贡献在于证明了“全查询级联”可以端到端训练并取得优于模块化方案的效果；VAD 强调推理效率，用向量化表示替代稠密 BEV，显著降低计算量；TransFuser 则代表多模态融合路线，在 CARLA 闭环评测中表现稳健。三者的共同点是：规划不再依赖人工规则，而是由网络直接输出轨迹或路径点。

2.3 输入输出表示与评价指标

端到端模型的输入通常包括：环视相机图像（6V 或 7V）、可选激光点云、自车历史状态（速度、加速度、转向角）、导航指令（左转/直行/右转）。输出表示主要有三种：

路径点序列（waypoints）：输出未来若干时刻的 (x, y) 坐标，配合控制器跟踪，常见于 TransFuser。
轨迹参数：输出多项式系数或速度-曲率序列，便于平滑控制。
规划查询：输出一组候选轨迹及其评分，供下游选择，UniAD 即采用此方式。

评价指标分为开环与闭环两类。开环指标包括 L2 位移误差、碰撞率、目标检测 mAP、轨迹预测 minADE/minFDE；闭环指标则在 CARLA 等仿真器中评估路线完成率、违规次数、舒适度和接管率。需要强调的是，开环 L2 低并不等于闭环安全，因为开环评测无法反映误差累积和交互博弈。

# 典型端到端模型训练配置片段
model:
  backbone: ResNet-50 + BEVFormer
  num_queries: 900
  tasks: [det, track, map, motion, planning]
  planning_head: MLP + 6 mode trajectory
loss:
  det: focal_loss
  planning: L2 + collision_penalty + comfort_penalty
  weights: {det: 1.0, planning: 2.0}
optimizer: AdamW, lr=2e-4, cosine schedule
epochs: 24, batch_size: 4 (8x A100)

2.4 案例与常见误区

以 UniAD 为例，其训练流程为：先用 BEV 编码器提取多相机特征，再通过 track query 和 map query 完成感知，随后 motion query 预测其他智能体未来轨迹，最后 planning query 结合自车状态和导航指令输出规划轨迹。整个网络共享 BEV 特征，规划损失可反传到感知层。实际部署中，常见误区包括：

误区一：端到端等于无中间监督。实际上 UniAD、VAD 都使用了检测、地图、预测的辅助损失，否则规划损失稀疏、难以收敛。
误区二：开环指标好就能上车。开环评测中模型可“抄”专家轨迹，闭环中却无法处理交互，必须结合闭环仿真和实车测试。
误区三：忽略时序和记忆。单帧模型在遮挡和运动模糊下极易失效，BEV 时序队列和记忆库是必备组件。
误区四：压缩时只关注规划头。端到端模型的感知 backbone 占计算量 70% 以上，压缩必须覆盖全网络。

工程建议：在模型压缩前，先固定一个开环+闭环都能接受的基线模型，再针对 backbone、BEV 编码器和查询解码器分别做敏感度分析，避免盲目剪枝导致规划崩溃。

理解端到端范式，是后续模型压缩与加速的前提。只有明确哪些模块共享特征、哪些损失驱动规划、哪些中间表示可以裁剪，才能在压缩时做出正确的取舍。下一阶段将围绕 BEV 编码器、查询解码器和规划头的计算特性，展开具体的压缩策略设计。