VIP20

本课程属于：032-目标跟踪 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多传感器融合目标跟踪实战

📚 共计 30 章节

课程导论与基础

多传感器融合的定义、优势、应用场景（自动驾驶、机器人、无人机），课程目标与学习路径。

坐标系统与变换

世界坐标系、传感器坐标系、刚体变换（旋转矩阵、平移向量）、四元数与欧拉角。

数学基础坐标系

时间同步机制

硬件同步（PPS、GPS）、软件同步（时间戳对齐、插值法）、时钟漂移补偿。

空间同步（标定）

相机内参标定、激光雷达与相机外参标定、多雷达标定。

传感器模型与噪声

相机模型（针孔模型、畸变）、激光雷达模型（光束模型、似然场模型）、IMU模型。

状态估计基础

贝叶斯滤波、高斯分布、马尔可夫假设、递归状态估计。

卡尔曼滤波（KF）

线性系统假设、预测与更新步骤、协方差矩阵的意义。

扩展卡尔曼滤波（EKF）

非线性系统线性化、雅可比矩阵、EKF在融合中的应用。

无迹卡尔曼滤波（UKF）

无迹变换、Sigma点选取、UKF vs EKF对比。

粒子滤波（PF）

重要性采样、重采样、粒子退化问题、PF在非线性非高斯系统中的应用。

信息滤波（IF）与扩展信息滤波（EIF）

信息矩阵与信息向量、逆协方差形式、分布式融合。

数据关联基础

最近邻（NN）、全局最近邻（GNN）、联合概率数据关联（JPDA）。

多目标跟踪（MOT）

多假设跟踪（MHT）、概率多假设跟踪（PMHT）、随机有限集（RFS）。

随机有限集（RFS）理论

PHD滤波、CPHD滤波、MeMBer滤波、标签多伯努利（LMB）。

传感器管理

信息驱动控制、协方差控制、任务驱动调度、资源分配策略。

集中式融合、分布式融合、混合式融合、层级式融合。

架构分布式

激光雷达与相机融合

目标检测级融合、特征级融合、决策级融合、BEV空间融合。

IMU与视觉融合（VIO）

预积分理论、滑动窗口优化、边缘化策略。

IMU与激光雷达融合（LIO）

点云畸变去除、帧到地图配准、因子图优化。

GPS与IMU融合（INS/GNSS）

松耦合、紧耦合、深耦合、零速修正（ZUPT）。

雷达与相机融合

毫米波雷达特性、稀疏点云处理、空间对齐、目标级融合。

多激光雷达融合

多雷达外参标定、点云拼接、重叠区域处理、带宽优化。

多雷达标定

基于深度学习的融合

端到端融合网络、注意力机制、Transformer在融合中的应用。

深度学习Transformer

融合中的异常处理

传感器故障检测、数据一致性检验、鲁棒估计（M估计、RANSAC）。

性能评估指标

ATE、RPE、MOTA、MOTP、OSPA距离、CLEAR指标。

开源框架与工具

ROS2、Autoware、Apollo、OpenCalib、KITTI数据集。

实战项目一：EKF的GPS+IMU融合定位

基于EKF的GPS+IMU融合定位（Python实现）。

实战项目二：UKF的雷达+毫米波目标跟踪

基于UKF的激光雷达+毫米波雷达目标跟踪（Python实现）。

实战项目三：PHD滤波多目标跟踪

基于PHD滤波的多目标跟踪（Python实现）。

课程总结与前沿展望

多模态大模型、4D成像雷达、车路协同、未来趋势。