01
自动驾驶概述
什么是端到端自动驾驶？与传统自动驾驶的区别、课程整体框架与学习路径。
概念导论
02
环境搭建
Ubuntu系统安装、Python与Conda环境配置、CUDA与cuDNN安装、PyTorch框架安装。
环境工具
03
Python基础速通
Python语法速览、NumPy与矩阵运算、Matplotlib数据可视化、OpenCV图像处理入门。
编程基础
04
深度学习基础
感知机与神经网络、激活函数（ReLU/Sigmoid/Tanh）、损失函数与梯度下降、反向传播算法。
深度学习理论
05
卷积神经网络（CNN）
卷积层与池化层原理、经典网络（LeNet/AlexNet/VGG）、ResNet与残差连接、感受野与特征图。
CNN视觉
06
循环神经网络（RNN）与序列模型
RNN原理与梯度消失、LSTM与GRU、序列到序列模型、注意力机制入门。
RNN序列
07
生成模型与表示学习
自编码器（Autoencoder）、变分自编码器（VAE）、生成对抗网络（GAN）基础、隐空间表示。
生成表示
08
Transformer与注意力机制
自注意力机制详解、多头注意力、Transformer编码器结构、位置编码。
Transformer注意力
09
视觉Transformer（ViT）
ViT原理与实现、图像分块与嵌入、与CNN的对比、混合架构。
ViT视觉
10
多模态学习基础
多模态表示学习、跨模态对齐、CLIP模型原理、图像与文本融合。
多模态CLIP
11
自动驾驶数据集
KITTI数据集详解、nuScenes数据集、Waymo Open Dataset、数据标注与格式。
数据评测
12
数据预处理与增强
图像预处理（归一化/裁剪/翻转）、点云预处理、数据增强策略、仿真数据生成。
预处理增强
13
感知任务
目标检测（2D/3D）、语义分割、实例分割、车道线检测。
感知检测
14
目标检测网络
YOLO系列原理、Faster R-CNN、CenterNet、3D目标检测（PointPillars）。
YOLO检测
15
语义分割网络
FCN与U-Net、DeepLab系列、BEV视角下的分割、实时分割网络。
分割语义
16
BEV感知
鸟瞰图表示、LSS（Lift-Splat-Shoot）方法、BEVFormer、Transformer在BEV中的应用。
BEV感知
17
时序融合与跟踪
多目标跟踪（MOT）、卡尔曼滤波、匈牙利算法、端到端跟踪方法。
跟踪时序
18
预测任务
轨迹预测、行为预测、交互预测、Social LSTM与Trajectron++。
预测轨迹
19
规划与控制基础
路径规划（A*/RRT）、轨迹优化、PID控制、模型预测控制（MPC）。
规划控制
20
端到端驾驶模型
模仿学习（Behavioral Cloning）、条件模仿学习（CIL）、ChauffeurNet模型。
端到端模仿学习
21
端到端驾驶模型进阶
CILRS模型、Urban Driver、Transfuser模型、多模态融合驾驶模型。
进阶多模态
22
强化学习在自动驾驶中的应用
马尔可夫决策过程（MDP）、Q-Learning与DQN、策略梯度方法、PPO算法。
强化学习PPO
23
仿真环境
CARLA仿真器入门、SUMO交通仿真、仿真到现实迁移、闭环评估。
仿真CARLA
24
模型部署与优化
模型量化（INT8/FP16）、TensorRT加速、ONNX导出、边缘设备部署。
部署优化
25
安全与鲁棒性
对抗攻击与防御、分布外检测、不确定性估计、安全验证方法。
安全鲁棒
26
可解释性
注意力图可视化、Grad-CAM、概念激活向量、驾驶决策解释。
可解释可视化
27
评估指标
感知指标（mAP/IOU）、预测指标（ADE/FDE）、驾驶指标（碰撞率/舒适度）、闭环评估协议。
指标评估
28
前沿研究
世界模型（World Model）、占用网络（Occupancy Network）、端到端大模型、VLA（视觉-语言-动作）模型。
前沿研究
29
项目实战（一）
搭建简易端到端驾驶模型、数据收集与处理、模型训练与评估、仿真环境测试。
实战项目
30
项目实战（二）
完整驾驶系统集成、多传感器融合、实车测试准备、课程总结与未来方向。
集成总结