01
传感器融合概述
什么是多传感器融合、为什么需要融合、典型应用场景（自动驾驶、机器人）、课程目标与学习路径。
融合基础应用场景
02
常用传感器原理
激光雷达（LiDAR）工作原理与数据特点、摄像头工作原理与图像特点、毫米波雷达与超声波雷达简介。
LiDAR摄像头雷达
03
坐标系与空间变换
世界坐标系、车辆坐标系、传感器坐标系、刚体变换（旋转与平移）、齐次坐标与变换矩阵。
坐标系刚体变换
04
传感器标定基础
内参标定与外参标定、标定板与目标物、联合标定流程、标定精度评估。
标定精度
05
Python与NumPy基础
Python科学计算环境搭建、NumPy数组操作、线性代数运算、随机数生成与仿真数据模拟。
PythonNumPy
06
仿真环境搭建
Carla/SUMO等开源仿真器简介、Python API连接仿真器、场景配置与传感器配置。
CarlaSUMO
07
数据采集与存储
仿真数据流获取、ROS Bag格式介绍、自定义数据格式（JSON/HDF5）、数据同步与时间戳管理。
ROS BagHDF5
08
激光雷达数据处理
点云数据结构、体素滤波降采样、地面分割（RANSAC）、点云聚类（DBSCAN）。
点云RANSACDBSCAN
09
摄像头数据处理
图像畸变校正、颜色空间转换、特征提取（SIFT/ORB）、目标检测（YOLO简介）。
图像YOLO
10
毫米波雷达数据处理
点迹与航迹、多普勒速度解算、杂波抑制、目标跟踪（卡尔曼滤波入门）。
雷达卡尔曼滤波
11
时间同步机制
硬触发同步与软触发同步、时间戳对齐算法、插值与外推方法、延迟补偿。
同步时间戳
12
空间对齐与融合
前融合（数据层融合）、后融合（目标层融合）、特征层融合、坐标系统一变换。
前融合后融合
13
卡尔曼滤波基础
状态空间模型、预测与更新步骤、线性卡尔曼滤波实现、协方差矩阵含义。
卡尔曼状态估计
14
扩展卡尔曼滤波（EKF）
非线性系统线性化、雅可比矩阵计算、EKF在融合中的应用、代码实现。
EKF非线性
15
无迹卡尔曼滤波（UKF）
UT变换原理、Sigma点选取、UKF与EKF对比、适用场景分析。
UKFUT变换
16
粒子滤波（PF）
蒙特卡洛方法、重要性采样、重采样策略、粒子滤波在定位中的应用。
粒子滤波定位
17
多目标跟踪
数据关联（NN/JPDA）、航迹管理（起始/维持/终止）、多目标融合框架。
数据关联JPDA
18
贝叶斯融合理论
贝叶斯公式与融合、概率占优、证据理论（D-S）、置信度传递。
贝叶斯D-S
19
决策级融合
投票机制、加权平均、D-S证据组合、模糊逻辑融合。
决策融合模糊逻辑
20
融合系统评估指标
精度（RMSE/MAE）、召回率与准确率、融合增益分析、实时性评估。
评估RMSE
21
C++与Python混合编程
pybind11基础、性能关键模块加速、C++扩展编写、接口封装。
pybind11加速
22
ROS与融合节点开发
ROS节点架构、话题与服务、消息定义、融合节点设计与实现。
ROS节点
23
仿真场景设计
典型交通场景（路口/高速/城区）、传感器噪声建模、故障注入、极端天气模拟。
场景噪声
24
融合算法验证
开环测试与闭环测试、Ground Truth获取、误差分析、Ablation Study。
验证消融实验
25
可视化与调试
点云可视化（Open3D）、图像标注、融合结果叠加显示、日志与回放。
Open3D可视化
26
实时系统优化
多线程与异步处理、内存池管理、算法复杂度优化、GPU加速入门。
优化GPU
27
工程化实践
代码规范与文档、单元测试（pytest）、持续集成（CI）、版本管理（Git）。
pytestCIGit
28
案例实战1：LiDAR+Camera融合目标检测与跟踪
基于LiDAR和Camera的融合目标检测与跟踪。
实战检测
29
案例实战2：多传感器融合SLAM
多传感器融合SLAM（激光+视觉+IMU）。
SLAMIMU
30
总结与展望
课程回顾、前沿趋势（4D成像雷达、事件相机）、学习资源推荐、下一步学习路径。
趋势资源