01
课程导学与环境搭建
CARLA模拟器简介 · 感知算法验证的意义 · 课程目标与学习路径 · Windows/Linux双系统环境配置 · CARLA 0.9.14安装与启动 · Python API客户端配置
环境入门CARLA
02
CARLA核心架构解析
世界(World)与蓝图库(Blueprint) · 参与者(Actor)生命周期管理 · 坐标系与坐标变换 · 天气与光照系统 · 传感器(Sensor)挂载机制
架构核心坐标系
03
第一台自动驾驶车
生成一辆特斯拉Model3 · 控制车辆运动（油门/刹车/转向） · 获取车辆状态信息（速度/位置/加速度） · 设置车辆物理属性
车辆控制物理
04
传感器初探
RGB相机原理与配置 · 深度相机(Depth Camera)数据解读 · 语义分割相机(Semantic Segmentation Camera) · 传感器数据流与回调函数
传感器RGB深度
05
数据采集与存储
使用队列(Queue)同步多传感器数据 · 将图像数据保存为PNG文件 · 将点云数据保存为PCD文件 · 构建标准化的数据集目录结构
数据存储PCD
06
目标检测基础
Bounding Box标注原理 · 从CARLA获取3D Bounding Box · 将3D框投影到2D图像平面 · 可视化检测结果（OpenCV绘图）
检测3D框OpenCV
07
YOLOv5实战
YOLOv5模型简介与权重下载 · 使用PyTorch加载预训练模型 · 对CARLA相机图像进行实时推理 · 解析检测结果（类别/置信度/坐标）
YOLOv5推理PyTorch
08
多传感器融合感知
相机-激光雷达联合标定原理 · 将激光雷达点云投影到图像平面 · 融合RGB图像与点云数据进行目标检测 · 可视化融合结果
融合标定点云
09
车道线检测
车道线检测算法概述 · 基于Canny边缘检测的传统方法 · 基于U-Net的深度学习方法 · 在CARLA中评估车道线检测精度
车道线CannyU-Net
10
交通标志识别
CARLA中的交通标志类型 · 使用模板匹配识别限速牌 · 基于CNN的交通标志分类器 · 实时识别与响应逻辑
标志CNN识别
11
行人检测与跟踪
行人检测的特殊挑战 · 使用YOLOv5检测行人 · 基于DeepSORT的多目标跟踪 · 计算行人轨迹与速度
行人跟踪DeepSORT
12
深度估计与测距
单目深度估计原理 · 使用MiDaS模型进行深度预测 · 将深度图转换为3D点云 · 计算目标与自车的实际距离
深度MiDaS测距
13
BEV视角感知
鸟瞰图(BEV)的概念与优势 · 将前视图特征转换为BEV特征 · 基于LSS(Lift-Splat-Shoot)的BEV感知 · 在CARLA中可视化BEV表示
BEVLSS可视化
14
传感器仿真与噪声建模
真实传感器噪声来源分析 · 为相机添加高斯噪声与运动模糊 · 为激光雷达添加高斯噪声与丢点 · 验证噪声对感知精度的影响
噪声仿真鲁棒性
15
感知算法评估指标
目标检测的mAP计算 · 语义分割的mIoU计算 · 深度估计的RMSE与SILog · 在CARLA中自动化评估流程
评估mAPmIoU
16
场景生成与自动化测试
使用ScenarioRunner生成预设场景 · 编写Python脚本控制NPC车辆 · 构建自动化回归测试管线 · 生成测试报告
场景自动化测试
17
恶劣天气下的感知
CARLA天气系统详解 · 雨天/雾天/夜晚场景配置 · 测试不同天气下的算法鲁棒性 · 数据增强策略（模拟天气变化）
天气鲁棒性增强
18
传感器失效模拟
模拟相机遮挡与黑屏 · 模拟激光雷达视场角截断 · 模拟GPS信号丢失 · 设计传感器故障下的降级策略
失效降级安全
19
基于强化学习的感知
强化学习基础概念回顾 · 在CARLA中设置RL环境 · 使用DQN训练避障策略 · 将感知结果作为RL的状态输入
强化学习DQN避障
20
端到端自动驾驶
模仿学习(Behavioral Cloning)原理 · 收集专家驾驶数据 · 训练端到端控制模型（CNN+LSTM） · 在CARLA中闭环测试
端到端模仿学习LSTM
21
多车协同感知
V2X通信基础 · 在CARLA中模拟多车场景 · 共享感知信息（协同BEV） · 评估协同感知对遮挡场景的改善
协同V2X遮挡
22
感知算法部署优化
模型量化（FP16/INT8） · TensorRT加速推理 · ONNX模型导出与部署 · 在CARLA中测试实时性(FPS)
部署TensorRTONNX
23
高精地图与定位
HD Map在感知中的作用 · 从CARLA导出车道级地图 · 基于视觉的定位（Visual Localization） · 将感知结果关联到地图坐标
高精地图定位HD Map
24
轨迹预测
轨迹预测任务定义 · 基于Social LSTM的轨迹预测 · 利用感知结果（目标位置/速度）作为输入 · 在CARLA中可视化预测轨迹
轨迹预测Social LSTM
25
占用网格(Occupancy Grid)
占用网格地图原理 · 将激光雷达点云转换为占用网格 · 基于占用网格的路径规划 · 动态障碍物更新策略
占用网格路径规划动态
26
3D目标检测
PointPillars算法原理 · 在CARLA中生成3D检测数据集 · 训练一个简单的PointPillars模型 · 评估3D检测的BEV AP
3D检测PointPillarsBEV
27
语义SLAM
视觉SLAM与语义SLAM的区别 · 使用ORB-SLAM3在CARLA中建图 · 将语义信息注入SLAM后端 · 构建语义地图
SLAM语义ORB-SLAM3
28
感知系统的时序分析
端到端延迟(Latency)测量 · 传感器时间戳同步 · 处理丢帧与乱序问题 · 实时性优化策略
时序延迟同步
29
CARLA与ROS2集成
ROS2基础概念 · 安装CARLA-ROS2 Bridge · 在Rviz2中可视化感知结果 · 使用ROS2 Bag记录与回放数据
ROS2BridgeRviz2
30
综合项目实战
需求分析与系统设计 · 整合多传感器感知管线 · 在复杂场景下闭环测试 · 撰写技术报告与演示视频
实战综合项目