01
传感器融合概述
什么是多传感器融合、为什么需要融合、融合的层次（数据级、特征级、决策级）、典型应用场景（自动驾驶、机器人、工业物联网）。
基础概念
02
传感器基础与选型
常见传感器类型（激光雷达、摄像头、毫米波雷达、IMU、超声波）、传感器特性对比、选型原则与实战经验。
硬件选型
03
坐标系统与空间变换
世界坐标系、车身坐标系、传感器坐标系、刚体变换（旋转矩阵、平移向量）、四元数与欧拉角。
数学坐标系
04
时间同步机制
硬件同步方案（PPS、GPS时钟）、软件同步方案（时间戳对齐、插值法）、时间延迟补偿。
同步时钟
05
空间同步与标定
传感器内参标定、外参标定（Camera-LiDAR、LiDAR-IMU）、联合标定工具介绍。
标定外参
06
数据预处理技术
滤波去噪（均值滤波、中值滤波、高斯滤波）、异常值检测、数据归一化与标准化。
滤波预处理
07
数据级融合方法
直接数据拼接、加权平均法、贝叶斯估计、卡尔曼滤波基础。
数据级融合
08
特征级融合方法
特征提取（SIFT、ORB、点云特征）、特征匹配、特征融合策略。
特征匹配
09
决策级融合方法
投票法、贝叶斯决策、D-S证据理论、模糊逻辑融合。
决策融合
10
卡尔曼滤波详解
线性卡尔曼滤波（KF）、扩展卡尔曼滤波（EKF）、无迹卡尔曼滤波（UKF）、应用实例。
滤波状态估计
11
粒子滤波
蒙特卡洛方法、重要性采样、重采样、粒子滤波在定位中的应用。
粒子定位
12
图优化与因子图
图优化基础、因子图模型、iSAM与g2o库介绍、在SLAM中的应用。
SLAM图优化
13
多传感器融合架构设计原则
模块化设计、松耦合与紧耦合、容错与冗余设计、实时性要求。
架构设计
14
ROS/ROS2融合框架
ROS消息机制、TF坐标变换、Sensor Fusion Pipeline、常用包介绍（robot_localization, fuse）。
ROS框架
15
Camera-LiDAR融合
目标检测融合（2D-3D投影）、深度补全、BEV感知、典型方案（PointPainting, MV3D）。
视觉激光
16
IMU-GPS融合导航
松耦合组合导航、紧耦合组合导航、INS/GPS组合导航算法、误差状态卡尔曼滤波。
导航IMU
17
视觉-惯性融合（VIO）
VINS-Mono、ORB-SLAM3、IMU预积分、视觉惯性对齐。
VIOSLAM
18
雷达-视觉融合
毫米波雷达与摄像头融合、目标级融合、特征级融合、RadarNet方案。
雷达视觉
19
多传感器标定实战
使用Apollo标定工具、LiDAR-Camera联合标定代码实战、标定结果评估。
实战标定
20
时间同步实战
ROS时间同步机制、message_filters使用、硬件触发同步实现。
同步ROS
21
数据记录与回放
ROS Bag录制与回放、数据格式转换、数据集制作（KITTI, nuScenes格式）。
数据Bag
22
融合算法评估指标
精度指标（RMSE, MAE）、召回率与精确率、F1分数、计算效率评估。
评估指标
23
深度学习在融合中的应用
端到端融合网络、注意力机制融合、Transformer在融合中的应用。
深度学习Transformer
24
多传感器融合在自动驾驶中的应用
感知融合（障碍物检测、车道线检测）、定位融合、决策规划融合。
自动驾驶感知
25
多传感器融合在机器人中的应用
SLAM融合、导航融合、机械臂视觉伺服。
机器人SLAM
26
多传感器融合在工业物联网中的应用
设备状态监测、环境监测、预测性维护。
工业物联网
27
实时性与嵌入式部署
嵌入式平台选择（Jetson, STM32）、模型压缩与量化、RTOS下的融合实现。
嵌入式实时
28
故障检测与容错设计
传感器故障诊断、数据一致性检查、降级策略、安全冗余设计。
容错安全
29
多传感器融合系统调试与优化
性能分析工具、可视化调试、参数调优、常见问题排查。
调试优化
30
未来趋势与前沿
4D成像雷达、事件相机、毫米波成像、联邦学习与融合、端到端融合大模型。
前沿趋势