VIP20
本课程属于：020-多摄像头系统同步与融合技术 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模态融合与同步误差补偿全解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
多模态融合的定义 · 应用场景（自动驾驶 · 机器人
课程导论多模态融合的定义
02
多模态数据基础
图像 · 激光雷达点云 · 毫米波雷达
多模态数据基础图像
03
坐标系统与空间变换
世界坐标系 · 相机坐标系 · 车身坐标系
坐标系统空间变换
04
时间同步基础
时间戳 · 时钟同步协议（PTP · NTP）
时间同步基础时间戳
05
传感器标定（上）
相机内参标定（张正友法） · 畸变校正 · OpenCV实战
传感器标定相机内参标定
06
传感器标定（下）
相机-激光雷达外参标定 · 手眼标定 · 多传感器联合标定
传感器标定相机
07
数据预处理
点云滤波（体素滤波 · 统计滤波） · 图像去噪
数据预处理点云滤波
08
特征提取与表示
图像特征（SIFT · ORB） · 点云特征（FPFH
特征提取表示
09
早期融合（数据级融合）
图像-点云投影 · BEV视角生成 · 多模态数据对齐
早期融合数据级融合
10
中期融合（特征级融合）
注意力机制 · 跨模态注意力 · Transformer在多模态中的应…
期融合特征级融合
11
晚期融合（决策级融合）
投票机制 · 贝叶斯融合 · D-S证据理论
晚期融合决策级融合
12
端到端融合模型
多模态编码器-解码器架构 · 多任务学习 · 损失函数设计
端到端融合模型多模态编码器
13
同步误差来源分析
传感器触发延迟 · 传输延迟 · 处理延迟
同步误差来源分析传感器触发延迟
14
硬件同步方案
GPS脉冲同步 · IEEE 1588（PTP） · 硬件触发线设计
硬件同步方案GPS
15
软件同步方案
时间戳插值 · 最近邻匹配 · 滑动窗口对齐
软件同步方案时间戳插值
16
插值补偿算法
线性插值 · 样条插值 · 卡尔曼滤波插值
插值补偿算法线性插值
17
基于优化的同步误差补偿
最小二乘拟合 · 时间偏移估计 · BA优化
基于优化的同步误…最小二乘拟合
18
基于学习的同步误差补偿
LSTM预测 · 时序卷积网络 · 自监督对齐
基于学习的同步误…LSTM
19
同步误差评估指标
时间偏移误差（TDE） · 相对时间误差（RTE） · 融合精度评估
同步误差评估指标TDE
20
多模态融合在自动驾驶中的应用
目标检测（BEVDet · TransFusion） · 语义分割
多模态融合自动驾驶
21
多模态融合在机器人中的应用
SLAM（VINS · LIO-SAM） · 抓取与导航
多模态融合机器人
22
多模态融合在医疗影像中的应用
CT-MRI融合 · 超声-光学融合
多模态融合医疗影像
23
多模态融合在安防监控中的应用
可见光-红外融合 · 行为识别
多模态融合安防监控
24
多模态融合在工业检测中的应用
3D视觉检测 · 热成像-可见光融合
多模态融合工业检测
25
多模态融合的挑战与未来
模态缺失 · 模态对齐 · 实时性
多模态融合的挑战未来
26
实战项目一
基于ROS的多传感器数据采集与时间同…
实战项目一ROS
27
实战项目二
相机-激光雷达融合目标检测（基于Op…
实战项目二Op
28
实战项目三
多模态SLAM系统（VINS-Fus…
实战项目三SLAM
29
实战项目四
基于深度学习的同步误差补偿（PyTo…
实战项目四PyTo
30
课程总结与前沿展望
NeRF · 3DGS · 大模型在多模态融合中的新趋势
课程总结前沿展望