VIP20

本课程属于：026-多传感器 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

感知融合系统搭建指南

📚 共计 30 章节

感知融合系统概述

什么是感知融合 · 为什么需要感知融合 · 核心地位 · 课程大纲

传感器基础（一）：摄像头

工作原理 · 单目/双目/鱼眼 · 标定基础 · 数据特点

摄像头标定

传感器基础（二）：激光雷达

ToF/Flash · 机械式/固态 · 点云特点 · 标定

传感器基础（三）：毫米波雷达

FMCW · 测距/测速/测角 · 数据特点 · 超声波雷达

毫米波超声波

传感器基础（四）：IMU/GNSS

IMU工作原理 · GPS/GNSS · 组合导航 · 时间同步

坐标系与空间变换

世界/车辆/传感器坐标系 · 刚体变换 · 欧拉角与四元数

传感器标定（上）

内参标定 · 外参标定 · 相机-激光雷达联合标定 · 标定板

传感器标定（下）

相机-毫米波 · 多激光雷达 · IMU-相机 · 在线/自标定

联合标定在线

时间同步机制

硬件同步(PPS/GPS) · 软件同步(ROS Time) · 时间戳 · 延迟补偿

数据预处理（上）

图像去畸变 · 去噪增强 · 点云滤波 · 降采样

预处理滤波

数据预处理（下）

地面分割(RANSAC) · 聚类(DBSCAN) · ROI提取

目标检测基础（视觉）

HOG+SVM · YOLO/SSD/Faster R-CNN · 2D检测输出

视觉深度学习

目标检测基础（点云）

PointNet/PointPillars/VoxelNet · 3D检测输出

多目标跟踪 (MOT)

卡尔曼滤波 · 匈牙利匹配 · SORT/DeepSORT · ID管理

感知融合架构（上）

前融合(Early) · 后融合(Late) · 深度融合概念

感知融合架构（下）

特征级融合 · 决策级融合 · 混合架构设计

特征级决策级

融合中的关联与匹配

空间关联(IoU/马氏) · 时间关联 · 全局最优匹配

关联匈牙利

融合中的状态估计

加权平均 · 卡尔曼融合(EKF/UKF) · 信息滤波 · 协方差交叉

目标级融合实战

摄像头+激光雷达 · 摄像头+毫米波 · 多传感器案例

实战目标级

特征级融合实战

图像与点云对齐 · BEV特征融合 · Transformer应用

传感器故障诊断与降级

健康监测 · 数据质量 · 故障检测 · 降级策略

感知融合系统评估

MOTA/MOTP/IDF1 · KITTI/nuScenes/Waymo · 离线/在线评估

评估数据集

ROS/ROS2在感知融合中的应用

消息定义 · 节点通信 · Bag回放 · Rviz/PlotJuggler

感知融合系统工程化（上）

C++/Python混合 · SIMD/GPU加速 · 内存管理 · 实时性

感知融合系统工程化（下）

模块化 · 配置管理(YAML/JSON) · 日志 · 单元/集成测试

模块化测试

多传感器标定实战

Autoware标定 · Kalibr/Lidar_align · 标定结果验证

标定工具箱

感知融合系统搭建实战（一）

需求分析 · 传感器选型布局 · 硬件平台 · 软件框架

实战系统设计

感知融合系统搭建实战（二）

数据采集标注 · 模型训练部署 · 融合算法集成 · 联调

感知融合系统搭建实战（三）

实车测试 · 性能调优 · 场景泛化 · 系统迭代

感知融合前沿趋势与展望

4D成像雷达 · 纯视觉vs多传感器 · 端到端感知 · 车路协同