01
传感器融合概述
什么是传感器融合、为什么需要、应用场景(机器人、自动驾驶、无人机)
基础概念
02
传感器基础与特性
IMU、GPS、摄像头、激光雷达、超声波;误差模型与噪声特性
传感器建模
03
坐标系统与变换
世界/机体坐标系、旋转平移、四元数与欧拉角
数学坐标系
04
时间同步与数据对齐
多传感器时间戳对齐、插值外推、硬件触发与软件同步
同步实时
05
卡尔曼滤波入门
状态空间模型、预测与更新、一维卡尔曼滤波示例
滤波估计
06
扩展卡尔曼滤波 (EKF)
非线性系统线性化、雅可比矩阵、IMU+GPS融合
EKF非线性
07
无迹卡尔曼滤波 (UKF)
无迹变换、Sigma点选取、UKF与EKF对比
UKF采样
08
粒子滤波 (PF)
蒙特卡洛方法、重要性采样、重采样、定位应用
粒子非参数
09
贝叶斯滤波基础
贝叶斯定理、递归贝叶斯估计、马尔可夫假设
概率递归
10
多传感器数据融合架构
集中式、分布式、混合式融合架构
架构系统
11
IMU惯性导航原理
加速度计与陀螺仪模型、姿态解算(互补滤波、Mahony)
IMU姿态
12
GPS与IMU融合
松耦合/紧耦合、GPS多路径、RTK定位
GPS组合导航
13
视觉里程计 (VO)
特征点提取匹配、对极几何、PnP、光束法平差
视觉里程计
14
视觉惯性里程计 (VIO)
IMU预积分、滑动窗口优化、VINS-Mono解析
VIO融合
15
激光雷达SLAM
ICP/NDT配准、LOAM与Cartographer框架
LiDARSLAM
16
激光雷达与视觉融合
点云投影到图像、多模态特征融合、目标检测跟踪
多模态检测
17
超声波与红外传感器融合
近距离避障、数据关联、低成本方案设计
避障低成本
18
传感器故障检测与隔离
残差分析、卡方检验、一致性检查
故障安全
19
传感器标定
内参标定(相机、IMU、激光雷达)、外参联合标定
标定校准
20
任务规划与传感器调度
基于任务需求选择传感器、动态管理、能耗优化
调度优化
21
环境感知与语义理解
语义分割、YOLO/PointNet++、可通行区域分析
感知深度学习
22
状态估计与预测
运动模型(CV/CA/CTRV)、交互多模型(IMM)、轨迹预测
预测IMM
23
决策与规划
行为决策(FSM/行为树)、路径规划(A*、DWA、RRT*)
规划决策
24
控制与执行
PID控制、模型预测控制(MPC)、执行器延迟补偿
控制MPC
25
实时系统与嵌入式实现
RTOS、传感器数据管道、延迟与吞吐量优化
嵌入式实时
26
ROS与传感器融合
ROS消息系统、TF坐标变换、bag回放、rviz可视化
ROS工具
27
传感器融合评估指标
RMSE、一致性、鲁棒性、实时性
评估指标
28
开源框架与工具
robot_localization、GTSAM、Ceres Solver、OpenVINS
开源库
29
案例实战:无人机自主飞行
PX4 ECL EKF 传感器融合
无人机PX4
30
案例实战:自动驾驶多传感器融合
Apollo / Autoware 框架
自动驾驶Apollo