1. 课程导入
自动驾驶系统在过去十余年里经历了从“规则驱动”到“数据驱动”的深刻转变。传统模块化方案把感知、预测、规划、控制拆成独立模块，由工程师手工设计接口与规则；而端到端自动驾驶则尝试用统一的神经网络，把传感器原始输入直接映射为车辆控制或轨迹输出，让模型在数据中自行学习“看什么、想什么、怎么开”。本课程围绕“数据训练与评测工程”这一主线，帮助你把端到端自动驾驶从概念落到可运行的工程系统。
一、核心定义：什么是端到端自动驾驶
端到端（End-to-End）在自动驾驶语境中通常指：输入为摄像头、激光雷达、毫米波雷达、IMU、GNSS 等传感器数据，输出为油门、刹车、转向，或未来一段时间的轨迹点、占用栅格、BEV 特征等中间—最终表示，中间不再由人工编写大量可解释规则来串联。它的关键特征有三点：
- 统一可微：感知、预测、规划、控制被纳入同一个可训练的计算图，损失函数可同时约束多个任务。
- 数据驱动：系统能力上限高度依赖数据规模、数据分布与数据质量，而非仅靠规则覆盖。
- 表示学习：模型自动学习 BEV、Occupancy、Token、Latent 等内部表示，替代人工定义的中间接口。
二、发展历程：从模块化到端到端
端到端并非突然出现，而是伴随深度学习、算力与数据闭环逐步演进。早期代表如 2016 年 NVIDIA 的端到端转向预测，用单目摄像头直接输出转向角；随后 BEV、Transformer、Occupancy 等表示方法成熟，让端到端从“玩具 demo”走向“可工程化”。2021 年后，Tesla FSD、Wayve、地平线、小鹏、华为等相继推进端到端或“模块化+端到端”混合架构。2023 年以来，VLA（Vision-Language-Action）与世界模型进一步把语言、推理与动作生成引入自动驾驶。
下面这张图概括了端到端自动驾驶的典型数据与信号链路，也是本课程后续章节反复引用的总览：
三、与传统模块化方法的对比
模块化方法把系统拆成感知、定位、预测、规划、控制等模块，每个模块有明确输入输出，便于分工、调试与安全认证。端到端则把中间接口交给网络学习，优势是减少人工规则、提升对长尾场景的泛化能力，但可解释性、验证难度与安全责任界定更复杂。实际工程中，多数团队采用“模块化骨架 + 端到端模块”的混合路线。
| 对比维度 | 传统模块化 | 端到端 |
|---|---|---|
| 中间接口 | 人工定义，可解释 | 网络学习，隐式表示 |
| 规则依赖 | 高，依赖专家规则 | 低，依赖数据分布 |
| 长尾泛化 | 受规则覆盖限制 | 受数据覆盖限制 |
| 可解释性 | 强，便于定位问题 | 弱，需可视化与探针 |
| 验证方式 | 模块级 + 系统级 | 开环 + 闭环 + 仿真 |
| 数据需求 | 中等，标注可分工 | 大，需闭环数据管道 |
| 工程迭代 | 模块独立迭代 | 联合训练与回归 |
四、课程学习目标与整体知识框架
本课程不是单纯讲模型结构，而是聚焦“端到端自动驾驶数据训练与评测工程”这条主线。学完后，你应当能够独立设计数据采集与标注方案、搭建训练与评测流水线、定位训练与闭环中的典型问题，并理解车端部署约束。
- 数据侧：掌握多传感器数据采集、时间同步、标注规范、数据挖掘与闭环回流。
- 训练侧：理解 BEV、Occupancy、Transformer、VLA 等表示与训练策略，能配置多任务损失与分布式训练。
- 评测侧：掌握开环指标、闭环仿真、实车回归与安全评估方法，能设计评测集与回归门禁。
- 部署侧：了解量化、编译、车端推理与影子模式，理解训练—部署一致性。
五、常见误区与复盘
初学者最容易陷入三个误区：一是把端到端等同于“一个大网络”，忽视数据工程与评测体系；二是只看开环 L2 指标，忽略闭环接管与安全边界；三是认为端到端可以完全替代模块化，忽视可解释性与功能安全要求。复盘时建议用“数据—训练—评测—部署”四段法逐项检查，任何一段缺失都会导致系统无法真正上车。
# 端到端项目最小检查清单
[ ] 数据：采集频率、时间同步、标注一致性、难例覆盖率
[ ] 训练：输入表示、损失权重、分布式策略、复现种子
[ ] 评测：开环指标、闭环仿真、实车回归、安全门禁
[ ] 部署：量化精度、推理时延、内存占用、影子模式