VIP20

本课程属于：006-传感器外参标定 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

点云与图像目标关联实战

📚 共计 30 章节

点云与图像融合的意义、典型应用场景（自动驾驶、机器人）、课程目标与前置知识要求。

传感器基础

激光雷达工作原理（TOF、FMCW）、相机成像模型（针孔模型）、传感器标定基础概念。

坐标系与变换

世界坐标系、相机坐标系、图像坐标系、像素坐标系；刚体变换（旋转与平移）。

坐标刚体变换

相机内参标定

张正友标定法原理、棋盘格角点检测、内参矩阵与畸变系数的计算。

激光雷达与相机联合标定

外参矩阵（旋转矩阵R与平移向量t）、手动标定与自动标定方法。

外参联合标定

点云投影到图像

利用外参将3D点云投影到2D图像平面、深度图生成、遮挡处理。

投影深度图

图像特征提取

SIFT、SURF、ORB特征点原理与对比、特征描述子。

点云特征提取

FPFH、SHOT、3D-SIFT、点云局部特征描述。

2D-3D特征匹配

基于特征描述子的跨模态匹配、RANSAC剔除误匹配。

目标检测基础（图像）

Faster R-CNN、YOLO系列原理简介、Anchor机制。

目标检测基础（点云）

PointNet、PointNet++、VoxelNet、PointPillars原理。

PointNetVoxelNet

基于投影的融合方法

将点云投影为BEV图或前视图，再使用2D检测网络。

基于特征级的融合方法

图像与点云特征在中间层进行融合（如F-PointNet）。

特征融合F-PointNet

基于决策级的融合方法

图像与点云分别检测后，通过IoU或匈牙利算法进行目标关联。

决策融合匈牙利

目标关联的核心问题

数据关联的定义、不确定性建模、关联矩阵的构建。

最近邻（NN）关联算法

欧氏距离与马氏距离、门控（Gating）技术。

全局最近邻（GNN）与匈牙利算法

指派问题、代价矩阵、算法步骤与实现。

联合概率数据关联（JPDA）

原理、可行性计算、适用于密集场景。

多假设跟踪（MHT）

假设生成、假设管理、剪枝策略。

基于深度学习的关联方法

DeepSORT、FairMOT中的Re-ID特征与关联。

端到端融合模型

TransFuser、BEVFusion架构解析、特征对齐策略。

BEVFusion端到端

时序融合与跟踪

卡尔曼滤波预测、状态更新、轨迹管理。

卡尔曼轨迹

mAP、MOTA、MOTP、ID Switch、F1分数在融合任务中的意义。

数据集与工具

KITTI、nuScenes、Waymo数据集介绍；Open3D、PCL、MMDetection3D工具链。

实战项目一：联合标定

基于KITTI的雷达与相机联合标定（代码实现）。

实战项目二：投影与彩色点云

点云投影到图像并生成彩色点云（代码实现）。

投影彩色点云

实战项目三：F-PointNet检测

基于F-PointNet的3D目标检测（代码实现与调试）。

F-PointNet3D检测

实战项目四：BEVFusion

基于BEVFusion的多模态目标检测（代码实现与调试）。

BEVFusion多模态

实战项目五：MOT 2D-3D关联

多目标跟踪（MOT）中的2D-3D关联（代码实现）。

课程总结与前沿展望

Occupancy Network、4D毫米波雷达融合、端到端自动驾驶趋势。

Occupancy4D雷达