01
传感器初识
激光雷达工作原理（TOF、三角测距）、相机成像原理（针孔模型、畸变）、两种传感器的优缺点对比。
基础原理
02
坐标系统
世界坐标系、相机坐标系、图像坐标系、像素坐标系、激光雷达坐标系，以及它们之间的转换关系。
坐标系转换
03
传感器标定基础
为什么要标定？标定的核心目标（联合标定、外参标定），标定板的设计与使用。
标定入门
04
相机内参标定
张正友标定法原理、棋盘格角点检测、内参矩阵与畸变系数的求解。
内参棋盘格
05
激光雷达与相机联合标定
寻找对应点（3D-2D点对）、PnP问题求解、外参矩阵（R,t）的优化。
联合标定PnP
06
数据预处理
点云滤波（体素滤波、统计滤波）、图像去畸变、时间戳同步（硬件同步与软件同步）。
滤波同步
07
点云与图像投影
将3D点云投影到2D图像平面，实现像素级对齐，生成伪彩色点云或深度图。
投影对齐
08
特征提取与匹配
图像特征（SIFT、ORB）、点云特征（FPFH、SHOT），以及跨模态特征匹配的挑战。
特征匹配
09
目标检测基础
基于图像的目标检测（YOLO系列）、基于点云的目标检测（PointNet++、VoxelNet）。
检测YOLO
10
融合检测策略
前融合（Early Fusion）、后融合（Late Fusion）、深度融合（Deep Fusion）的对比与实现。
融合策略
11
BEV视角感知
什么是Bird‘s Eye View？如何将多传感器数据统一到BEV空间，BEVFormer等经典方法。
BEV感知
12
语义分割融合
图像语义分割（DeepLab）、点云语义分割（PointNet）、跨模态语义标签融合。
分割语义
13
目标跟踪
基于融合数据的多目标跟踪（SORT、DeepSORT），处理遮挡与ID Switch问题。
跟踪SORT
14
SLAM中的融合
视觉SLAM（ORB-SLAM）、激光SLAM（LOAM），以及V-LOAM等融合SLAM方案。
SLAM融合
15
高精地图构建
利用融合数据生成语义地图、占据网格地图（Occupancy Grid Map）。
地图占据网格
16
ROS基础
ROS核心概念（节点、话题、服务）、常用工具（rviz、bag）、编写简单的发布订阅程序。
ROS通信
17
ROS中的传感器驱动
驱动激光雷达（velodyne、livox）、驱动相机（usb_cam、realsense），数据可视化。
驱动可视化
18
数据采集与数据集制作
使用ROS录制bag包、提取图像与点云、标注工具（labelImg、point cloud labeler）。
数据标注
19
KITTI数据集实战
KITTI数据格式解析、可视化工具、使用KITTI评估融合算法。
KITTI评估
20
nuScenes数据集实战
nuScenes数据格式、API使用、多模态数据加载与可视化。
nuScenesAPI
21
Open3D基础
点云加载与可视化、ICP配准、点云分割与聚类。
Open3D点云
22
OpenCV基础
图像读取与显示、特征提取、相机标定实战。
OpenCV标定
23
PCL基础
点云滤波、关键点提取、点云配准（NDT、ICP）。
PCL配准
24
深度学习框架
PyTorch基础、数据加载器（Dataset、DataLoader）、模型训练与评估。
PyTorch训练
25
简单融合项目实战
实现一个基于规则（如距离阈值）的融合目标检测demo。
项目规则
26
中级融合项目实战
使用深度学习实现前融合（将点云投影到图像后输入2D检测网络）。
项目前融合
27
高级融合项目实战
实现一个BEV融合检测网络（参考LSS或BEVDet）。
项目BEV
28
性能评估
融合算法的评价指标（mAP、ATE、RMSE）、消融实验设计。
评估指标
29
工程化部署
模型量化（TensorRT）、ONNX导出、嵌入式平台（Jetson）部署。
部署TensorRT
30
前沿趋势与挑战
4D毫米波雷达与相机融合、事件相机与激光雷达融合、端到端自动驾驶中的融合。
前沿趋势