3. 端到端驾驶模型概述

传统自动驾驶系统通常采用模块化架构：感知、定位、预测、规划、控制各自独立，模块之间通过人工定义的接口传递中间结果。这种架构可解释性强、便于分工调试，但存在两个根本问题：一是误差逐级累积，感知的小偏差会在规划阶段被放大；二是接口信息瓶颈，规划模块只能看到被压缩后的目标框、轨迹点，丢失了大量原始场景细节。端到端驾驶模型的核心思想，是让神经网络直接从传感器输入映射到驾驶动作或轨迹输出，把“中间表示”交给网络自己学习。

核心原理：从模块化到端到端

端到端范式的本质是可微分的联合优化。模块化系统中，感知网络的损失与规划网络的损失彼此独立，感知训练目标（如检测精度）并不等于最终驾驶目标（如安全性、舒适性）。端到端模型则用一个统一损失函数贯穿全链路，使梯度可以从控制输出反传到特征提取层，让网络学到“对驾驶真正有用”的特征，而不是“对人眼好看”的特征。

从信息流角度看，模块化是“串行流水线”，端到端是“整体映射”。下图对比了两种范式的数据流与梯度流差异，并标出端到端模型中的不确定性来源位置。

三条技术路线：模仿学习、强化学习、大模型驱动

模仿学习（Imitation Learning）是最早落地的端到端路线。它把人类驾驶数据当作监督信号，训练网络在给定观测下输出与人类相似的动作。NVIDIA PilotNet 是经典代表：输入三路前视摄像头图像，经过卷积网络直接输出转向角，用真实驾驶里程采集的“图像—转向”对做回归。其优点是训练稳定、数据易采集；缺点是存在分布偏移——一旦模型偏离训练分布，误差会迅速累积，且无法从失败中自我改进。

强化学习（Reinforcement Learning）把驾驶建模为马尔可夫决策过程，通过与环境交互最大化累积回报。Wayve 早期工作展示了在仿真与真实道路中用 RL 训练驾驶策略的可行性。RL 的优势是能优化长期目标（安全、效率、舒适），并可通过奖励设计表达复杂偏好；挑战在于样本效率低、奖励设计困难、真实道路试错成本极高，因此常与仿真、世界模型结合使用。

大模型驱动方法是近年的新范式。Tesla FSD v12 将大量规则代码替换为端到端神经网络，用海量车队数据训练统一的“感知—决策”网络；Wayve 的 GAIA-1、LINGO 等则用视觉语言模型为驾驶提供常识推理与可解释输出。大模型路线的核心优势是泛化与语义理解，能处理长尾场景；代价是算力需求大、可解释性弱、安全验证困难。

案例场景：一个端到端模型的训练与推理链路

以模仿学习为例，典型训练配置如下：输入为 6 路摄像头图像，经 BEV 编码器融合为统一特征图，再由策略头输出未来 3 秒的轨迹点。损失函数通常由轨迹回归损失与碰撞惩罚项组成。

# 端到端驾驶模型训练配置示例
input: 6 x camera (1280x720) + ego_state(velocity, yaw_rate)
backbone: BEVFormer / ResNet-50 + Transformer
policy_head: trajectory_head (3s, 10Hz, 30 waypoints)
loss:
  - L_traj: L1 loss on waypoints
  - L_collision: penalty on predicted collision
  - L_comfort: jerk & lateral acceleration penalty
optimizer: AdamW, lr=1e-4, batch_size=32
epochs: 50

推理时，模型每 100ms 输出一次轨迹，规划模块对轨迹做安全校验后下发控制。这里的关键工程问题是：端到端输出必须附带不确定性估计，否则下游安全约束无法判断“这条轨迹有多可信”。

误区与复盘