01
感知融合概述
自动驾驶感知系统架构 · 传感器介绍 (Camera/Lidar/Radar) · 融合层级 · 课程项目总览
系统架构传感器融合层级
02
坐标系与空间变换
世界/车辆/传感器坐标系 · 刚体变换 · 四元数与欧拉角 · 坐标变换实战
坐标系四元数刚体变换
03
传感器标定基础
内参标定 (Camera/Lidar) · 外参标定 · 标定板设计 · 标定工具使用
内参外参联合标定
04
目标检测基础 (Camera)
2D检测 (YOLO) · 3D检测 (FCOS3D/SMOKE) · 输出格式 (BBox/类别/置信度)
YOLO3D检测FCOS3D
05
目标检测基础 (Lidar)
点云特征提取 (PointNet++) · 3D检测 (PointPillars/VoxelNet) · BEV视角检测
PointNet++PointPillarsBEV
06
目标检测基础 (Radar)
雷达信号处理 · 点云聚类 (DBSCAN) · CFAR跟踪 · Radar特点与局限
DBSCANCFAR雷达
07
多目标跟踪基础 (MOT)
SORT算法 · 卡尔曼滤波 · 匈牙利匹配 · ID分配与管理
SORT卡尔曼匈牙利
08
多目标跟踪进阶 (DeepSORT)
外观特征提取 (ReID) · 级联匹配 · 马氏距离与余弦距离 · 轨迹管理
DeepSORTReID级联匹配
09
多目标跟踪进阶 (ByteTrack)
BYTE数据关联 · 低分检测框利用 · 跟踪性能对比 (MOTA/IDF1)
ByteTrack低分框MOTA
10
多目标跟踪进阶 (OC-SORT)
观测中心SORT · 非线性运动处理 · 遮挡场景优化
OC-SORT遮挡非线性
11
传感器融合策略
目标级融合 (加权/投票) · 特征级融合 (拼接/注意力) · 数据级融合
加权注意力数据对齐
12
融合中的时间同步
硬件同步 (GPS/PPS) · 软件同步 · 插值方法 · 延迟补偿
时间戳插值延迟补偿
13
融合中的空间对齐
外参矩阵统一 · BEV空间映射 · 投影误差分析 · 动态校准
BEV外参动态校准
14
融合中的不确定性管理
协方差估计 · 信息熵 · 置信度融合 · 鲁棒性设计
协方差信息熵鲁棒性
15
融合跟踪框架 (一) 卡尔曼
基于卡尔曼滤波的融合跟踪 · 状态向量设计 · 观测模型构建
卡尔曼状态向量观测模型
16
融合跟踪框架 (二) EKF
扩展卡尔曼滤波 · 非线性观测模型 · 雅可比矩阵计算
EKF非线性雅可比
17
融合跟踪框架 (三) UKF
无迹卡尔曼滤波 · Sigma点选取 · UT变换
UKFSigma点UT变换
18
融合跟踪框架 (四) 粒子滤波
粒子滤波 · 重要性采样 · 重采样 · 多模态分布处理
粒子滤波重采样多模态
19
融合跟踪中的航迹管理
航迹起始 (逻辑/序列) · 航迹维持 · 终止 (N/M) · 航迹ID融合
航迹起始N/MID融合
20
融合跟踪中的关联策略
全局最近邻 (GNN) · JPDA · 多假设跟踪 (MHT)
GNNJPDAMHT
21
融合跟踪中的场景理解
道路结构利用 · 交通规则约束 · 动态场景建模
车道线限速场景建模
22
融合跟踪中的遮挡处理
遮挡检测 (IoU/深度) · 轨迹预测 · 重识别策略
遮挡轨迹预测重识别
23
传感器失效处理
故障检测 (健康度) · 降级模式 · 冗余设计
故障检测降级冗余
24
融合跟踪性能评估
评估指标 (MOTA/MOTP/IDF1) · 数据集 (KITTI/nuScenes) · TrackEval
MOTAKITTITrackEval
25
融合跟踪实战 (一) 环境
Ubuntu/Docker · 依赖安装 (ROS2/Eigen/OpenCV) · nuScenes数据准备
DockerROS2nuScenes
26
融合跟踪实战 (二) 数据可视化
数据解析与回放 · 检测结果加载 · Foxglove/RVIZ可视化
FoxgloveRVIZ回放
27
融合跟踪实战 (三) 核心模块
卡尔曼融合 · 数据关联 · 航迹管理 · 代码调试
核心模块卡尔曼调试
28
融合跟踪实战 (四) 系统集成
多传感器集成 · ROS2 Topic通信 · 实时性优化 (多线程/GPU)
系统集成ROS2GPU加速
29
融合跟踪实战 (五) 测试调优
参数调优 (门控/生命周期) · 场景测试 (高速/城区/隧道) · Bug修复
调优场景测试Bug修复
30
融合跟踪总结与展望
课程回顾 · 前沿方向 (端到端融合/Transformer) · 职业发展 · 开源项目
Transformer端到端职业建议