VIP12
本课程属于：085-端到端自动驾驶系统工程 智能汽车与新能源汽车工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

端到端自动驾驶:从感知到控制的神经网络模型详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
端到端自动驾驶的定义 · 发展历程 · 与传统模块化方法的对比
课程导入端到端自动驾驶的…
02
自动驾驶基础
传感器（摄像头 · 激光雷达 · 毫米波雷达）原理与数据特点
自动驾驶基础传感器
03
神经网络基础
卷积神经网络（CNN） · 循环神经网络（RNN） · Transformer
神经网络基础CNN
04
端到端架构总览
从感知到控制的整体pipeline · 输入输出表示 · 主流模型（如NVIDIA Dave-…
端到端架构总览pipeline
05
数据采集与预处理
数据采集平台搭建 · 传感器标定 · 时间同步
数据采集预处理
06
行为克隆（Behavioral Cloning）
模仿学习基础 · DAVE-2模型详解 · 训练技巧（数据平衡
BehavioralCloning
07
条件模仿学习（Conditional Imitation Learning）
CIL架构 · 命令（转向 · 加速
ConditionalImitation
08
感知模块的端到端学习
从图像/点云直接提取驾驶相关特征 · 语义分割与目标检测在端到端中的融合 · 注意力机制在感知中的应用
感知模块的端到端…从图像
09
控制信号生成
方向盘转角 · 油门 · 刹车的连续值预测
控制信号生成方向盘转角
10
损失函数与优化
回归损失（MSE · L1） · 分类损失（交叉熵）
损失函数优化
11
循环神经网络在驾驶决策中的应用
RNN/LSTM/GRU建模时序依赖 · 驾驶轨迹预测 · 基于历史信息的控制决策
循环神经网络驾驶决策
12
Transformer在端到端驾驶中的应用
ViT · DETR · 注意力机制处理多传感器融合
Transformer端到端驾驶
13
多模态融合
摄像头与激光雷达融合 · 特征级融合与决策级融合 · 跨模态注意力
多模态融合摄像头
14
强化学习在端到端驾驶中的应用
马尔可夫决策过程 · 策略梯度 · DQN
强化学习端到端驾驶
15
世界模型与预测
学习环境动态 · 隐空间状态表示 · 未来状态预测
世界模型预测
16
端到端规划与控制
从感知直接输出轨迹或控制指令 · 可微规划器 · 模型预测控制（MPC）与神经网络的结…
端到端规划控制
17
仿真环境与工具
CARLA · AirSim · SUMO
仿真环境工具
18
数据集与基准
公开数据集（如nuScenes · Waymo Open Dataset · BDD100K）
数据集基准
19
模型训练与调优
训练策略（课程学习 · 域随机化） · 超参数调优
模型训练调优
20
模型部署与实时性
模型压缩（剪枝 · 量化 · 蒸馏）
模型部署实时性
21
安全性与鲁棒性
对抗攻击与防御 · 分布外检测 · 不确定性估计（贝叶斯神经网络
安全性鲁棒性
22
可解释性与可视化
特征图可视化 · 注意力可视化 · 驾驶决策解释
可解释性可视化
23
端到端驾驶的挑战与局限
数据效率 · 泛化能力 · 长尾场景
端到端驾驶的挑战局限
24
案例实战
基于CARLA的端到端驾驶模型实现（… · 使用DAVE-2复现自动驾驶小车
案例实战CARLA
25
案例实战
基于TransFuser的多模态端到… · 在CARLA排行榜上评估性能
案例实战TransFuser
26
案例实战
基于强化学习的端到端驾驶（如使用PP… · 奖励函数设计与调优
案例实战PP
27
常见问题与解决方案
训练不收敛 · 过拟合 · 数据不平衡
常见问题解决方案
28
前沿进展
最新研究（如UniAD · VAD · Stable World Model…
前沿进展UniAD
29
综合项目
设计一个完整的端到端自动驾驶系统（从… · 数据采集 · 模型设计
综合项目设计一个完整的端…
30
课程总结与进阶方向
知识体系回顾 · 学习资源推荐 · 研究热点展望
课程总结进阶方向