VIP20

本课程属于：018-高精地图 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

感知融合中的多传感器对齐技术

📚 共计 30 章节

传感器对齐概述

为什么需要多传感器对齐？时间同步与空间对齐的基本概念。

坐标系基础

世界坐标系、车辆坐标系、传感器坐标系（相机、激光雷达、毫米波雷达、IMU）。

刚体变换与齐次坐标

旋转矩阵、平移向量、齐次坐标表示法、欧拉角与四元数。

相机内参模型

针孔相机模型、畸变模型（径向畸变、切向畸变）、内参矩阵K。

相机外参标定

外参矩阵（R|t）、世界坐标系到相机坐标系的变换。

激光雷达原理与点云

激光雷达工作原理、点云数据结构、强度信息。

激光雷达内参

激光雷达的旋转轴、水平/垂直分辨率、视场角（FOV）。

内参分辨率

毫米波雷达特性

多普勒效应、距离-速度-角度测量、稀疏点云特性。

雷达多普勒

IMU与惯性导航

加速度计、陀螺仪、姿态解算、IMU预积分。

时间同步基础

GPS/INS时间戳、PTP协议、硬件同步方案（Trigger/GPS PPS）。

软件时间同步

基于ROS的时间同步机制、时间戳对齐策略（最近邻插值、线性插值）。

空间对齐之相机-激光雷达联合标定

原理、目标（棋盘格/标定板）、PnP求解。

联合标定PnP

相机-激光雷达标定实践

Autoware标定工具、MATLAB标定工具箱、开源代码（lidar_camera_calibration）。

激光雷达-毫米波雷达对齐

坐标系转换、分辨率差异处理、目标级关联。

多雷达联合标定

多激光雷达外参标定、重叠区域处理、全局优化。

多雷达优化

相机-IMU联合标定（VIO基础）

视觉惯性对齐、Kalibr工具、imu_utils。

激光雷达-IMU标定

LIO-SAM中的对齐策略、运动畸变去除。

多传感器融合中的时间对齐

滑动窗口机制、时间戳管理、延迟补偿。

延迟滑动窗口

点云与图像投影

将3D点云投影到2D图像平面、深度图生成、颜色赋值。

图像到点云的反投影

2D像素到3D射线的映射、ROI提取、语义融合。

反投影语义

BEV视角下的传感器对齐

鸟瞰图坐标系、多传感器到BEV的投影、特征对齐。

传感器对齐的精度评估

重投影误差、点云配准误差（ICP/NDT）、相对位姿误差（RPE）。

标定误差分析与补偿

温度漂移、机械振动、安装误差的在线补偿。

在线标定与自标定

基于SLAM的在线标定、端到端学习标定方法。

在线自标定

多传感器对齐在自动驾驶中的应用

感知融合pipeline、目标检测与跟踪中的对齐。

自动驾驶融合

ROS/ROS2中的传感器对齐实践

TF树管理、message_filters、时间同步器。

Apollo中的传感器对齐方案

CyberRT框架、标定文件格式、对齐流程。

传感器对齐的工程化落地

标定车间流程、自动化标定脚本、质量监控。

工程自动化

基于深度学习的端到端对齐、时空联合对齐、4D毫米波雷达对齐。

前沿深度学习

搭建一个多传感器对齐系统（相机+激光雷达+IMU），从数据采集到精度验证。