📚 课程目录第3章端到端自动驾驶系统架构

3. 端到端自动驾驶系统架构

传统自动驾驶软件栈通常被拆分为感知、预测、规划、控制四个相对独立的模块，模块之间通过人工定义的数据接口串联。端到端架构的核心变化在于：不再把“中间表示”完全交给人工设计，而是让网络在统一的可微或可训练框架中，从传感器输入直接学习到轨迹、控制量或中间表征，从而减少级联误差、信息损失和接口摩擦。理解端到端架构，关键要抓住三件事：集成方式、主流架构的差异、以及输入输出接口如何设计。

3.1 核心原理：从模块级联到端到端集成

端到端并不等于“只有一个网络”。工程上更准确的理解是：以最终驾驶目标为监督信号，让感知、预测、规划、控制中的多个环节在同一个训练目标下联合优化。其集成方式大致可分为三类：

全端到端：传感器原始数据（图像、点云、IMU、CAN 等）输入一个大网络，直接输出轨迹或控制指令。优点是接口最少、信息损失小；缺点是可解释性弱、训练数据需求大、安全验证困难。
模块化端到端：保留感知、预测、规划等模块边界，但模块内部用神经网络实现，模块之间用可微接口或统一特征空间连接，支持联合微调。UniAD 是典型代表。
混合式：感知用端到端网络，规划控制仍保留规则或优化器，形成“学习感知 + 规则决策”的折中方案，便于量产落地与安全兜底。

  端到端集成的本质不是“取消模块”，而是把模块之间的人工接口替换为可学习接口，让梯度能够从最终驾驶目标回传到感知特征。

3.2 主流架构对比：UniAD、VAD、TransFuser

当前学术界与工业界讨论较多的三类端到端架构，分别代表了不同的集成哲学。UniAD 强调“感知—预测—规划”全链路联合优化，用查询（query）机制把检测、跟踪、地图、运动预测、占据栅格和规划串起来；VAD 更强调向量化场景表示与高效规划，把地图、交通参与者、自车状态编码为向量，直接输出规划轨迹；TransFuser 则聚焦多模态融合，把相机与 LiDAR 特征在 Transformer 中融合后用于规划，强调感知与规划之间的紧密耦合。

架构	核心思想	输入	输出	特点
UniAD	查询驱动的全栈联合优化	多相机图像、LiDAR、自车状态	检测、跟踪、地图、预测、占据、规划轨迹	模块边界清晰但可微，适合研究全链路联合训练
VAD	向量化场景表示 + 高效规划	多相机图像、自车状态	向量化地图、参与者、规划轨迹	推理效率高，适合实时部署与闭环评测
TransFuser	Transformer 多模态融合	相机图像、LiDAR 点云	规划轨迹或控制量	融合能力强，强调感知与规划耦合

3.3 输入输出接口设计：端到端系统的“契约”

端到端架构虽然减少了人工接口，但接口设计反而更关键，因为一旦接口定义不清，训练信号就无法正确回传。接口设计通常包括四层：

传感器输入层：相机图像需明确分辨率、帧率、时间戳同步方式；LiDAR 需明确坐标系、点云范围、降采样策略；IMU/CAN 需明确频率与延迟补偿。
中间特征层：若采用模块化端到端，需定义 BEV 特征、查询向量、占据栅格等中间表示的维度、坐标系与语义。
规划输出层：通常输出未来 3～6 秒的轨迹点序列，或输出横向/纵向控制量。轨迹需定义坐标系、时间间隔、曲率约束与舒适度约束。
控制接口层：若下游是控制器，需定义油门、刹车、转向的归一化范围、执行频率与安全限幅。

# 典型端到端模型输入输出接口示例
input:
  cameras: 6 x [3, 900, 1600]   # 前/后/左/右/左前/右前
  lidar:   [N, 4]                # x, y, z, intensity
  ego:     [v, a, yaw_rate, steering]
  timestamp: 同步到 10Hz

output:
  trajectory: [T=6, 2]           # 未来 6 秒，每 0.5s 一个 (x, y)
  control:    [throttle, brake, steer]
  confidence: [0, 1]

3.4 案例与场景：城市路口左转的端到端决策

以城市无保护左转为例。传统栈中，感知输出目标框，预测输出轨迹，规划做决策，控制执行。端到端架构下，UniAD 类模型会把“对向直行车辆”“行人”“左转待转区”等查询在统一框架中交互，规划查询直接关注对向车辆的未来运动，从而输出一条“等待—蠕行—通过”的轨迹。VAD 类模型则把场景向量化后，用轻量规划头快速生成轨迹，适合在车端有限算力下闭环运行。TransFuser 类模型在相机与 LiDAR 融合后，能更早发现被遮挡的行人，从而提前减速。

端到端系统的评测不能只看开环轨迹误差（如 L2 距离），还要看闭环指标：碰撞率、舒适度、通行效率、接管次数。开环好不等于闭环好。

3.5 常见误区与复盘

误区一：端到端就是“黑盒”。实际上可以通过中间查询、BEV 特征、注意力图做可视化与诊断，关键是设计可观测的中间接口。
误区二：接口越少越好。接口太少会导致训练信号难以定位问题；接口太多又退化为传统模块化。需要在“可微”与“可解释”之间平衡。
误区三：只关注规划输出。端到端系统的安全下限往往由感知与预测决定，规划再好也无法弥补感知漏检。
复盘建议：建立“输入—中间—输出”三层日志，记录每帧的传感器同步状态、中间特征统计量、轨迹输出与置信度，便于定位是数据问题、接口问题还是模型问题。

总结来看，端到端自动驾驶架构的工程落地，核心不在于“是否取消模块”，而在于用可微接口把感知、预测、规划、控制串成一条可联合优化的链路，并用清晰的输入输出契约保证训练信号可回传、系统行为可诊断。UniAD、VAD、TransFuser 分别代表了全栈联合、向量化高效、多模态融合三条路线，实际选型需结合算力、数据规模与安全验证要求综合权衡。