01
传感器基础与选型
激光雷达工作原理（TOF、FMCW）、相机成像模型、传感器选型对比。
基础选型
02
坐标系统与坐标系变换
世界坐标系、相机坐标系、图像坐标系、像素坐标系、激光雷达坐标系、刚体变换与齐次坐标。
坐标刚体变换
03
相机内参标定
张正友标定法原理、棋盘格角点检测、内参矩阵与畸变系数计算。
标定内参
04
激光雷达与相机联合标定
联合标定原理、PnP求解外参、手眼标定法、标定板设计。
联合标定外参
05
数据预处理与同步
时间戳同步（硬件同步/软件同步）、空间同步、点云滤波（体素滤波、直通滤波）。
同步滤波
06
点云与图像投影
将3D点云投影到2D图像平面、深度图生成、视差图与彩色点云。
投影深度图
07
特征提取与匹配
图像特征（SIFT、ORB）、点云特征（FPFH、ISS）、特征匹配与RANSAC。
特征匹配
08
目标检测基础
基于图像的目标检测（YOLO、Faster R-CNN）、基于点云的目标检测（PointNet、PointPillars）。
检测YOLO
09
融合目标检测
决策级融合（NMS融合）、特征级融合（BEV特征融合）、端到端融合（TransFuser）。
融合BEV
10
多目标跟踪
卡尔曼滤波、匈牙利匹配、SORT/DeepSORT算法、3D多目标跟踪。
跟踪SORT
11
语义分割与融合
图像语义分割（DeepLab）、点云语义分割（PointNet++）、RGB-XYZ融合分割。
分割语义
12
深度估计与补全
单目深度估计、双目深度估计、激光雷达引导的深度补全。
深度补全
13
SLAM与建图
视觉SLAM（ORB-SLAM3）、激光SLAM（LOAM）、激光视觉融合SLAM（LVI-SAM）。
SLAM建图
14
3D场景重建
TSDF融合、神经辐射场（NeRF）、激光雷达辅助的NeRF。
重建NeRF
15
传感器失效与容错
相机遮挡处理、激光雷达退化场景（雨雾、强光）、多传感器冗余设计。
容错冗余
16
工程化与部署
ROS2节点设计、消息同步（TimeSynchronizer）、性能优化（TensorRT、ONNX）。
部署ROS2
17
数据集与评测
KITTI、nuScenes、Waymo数据集、评测指标（mAP、ATE、MOE）。
数据集评测
18
实战项目1：数据采集与可视化
基于ROS2的激光雷达相机数据采集与可视化。
实战ROS2
19
实战项目2：联合标定工具开发
联合标定工具开发与标定结果验证。
实战标定
20
实战项目3：融合目标检测
基于YOLOv5+PointPillars的融合目标检测。
实战YOLOv5
21
实战项目4：3D多目标跟踪
基于DeepSORT的3D多目标跟踪。
实战DeepSORT
22
实战项目5：深度补全网络
激光雷达引导的深度补全网络。
实战深度补全
23
实战项目6：融合SLAM
基于LVI-SAM的融合SLAM。
实战LVI-SAM
24
实战项目7：BEV融合感知
BEV空间下的多传感器融合感知。
实战BEV
25
实战项目8：端到端融合模型
端到端融合模型训练与部署。
实战端到端
26
实战项目9：故障注入与容错
传感器故障注入与容错系统测试。
实战容错
27
实战项目10：KITTI评测
基于KITTI数据集的融合算法评测。
实战KITTI
28
前沿技术
4D成像雷达、事件相机、固态激光雷达与融合趋势。
前沿雷达
29
面试与职业发展
常见面试题、项目经验包装、行业方向选择。
面试职业
30
课程总结与展望
融合技术路线图、开源社区推荐、持续学习建议。
总结展望