VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模态感知算法从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
多模态感知概述
什么是多模态感知 · 多模态感知的应用场景（自动驾驶 · 机器人
多模态感知概述什么是多模态感知
02
数学基础回顾（一）
线性代数核心（向量 · 矩阵 · 特征值分解
数学基础回顾线性代数核心
03
数学基础回顾（二）
概率论与信息论（贝叶斯定理 · 熵 · 互信息
数学基础回顾概率论
04
图像模态基础
卷积神经网络（CNN）原理 · 经典架构（ResNet · VGG）
图像模态基础CNN
05
文本模态基础
循环神经网络（RNN/LSTM）与T… · 词嵌入（Word2Vec · BERT）
文本模态基础RNN/LSTM
06
音频模态基础
梅尔频谱图 · 短时傅里叶变换（STFT） · 音频特征提取（MFCC）
音频模态基础梅尔频谱图
07
传感器模态基础
激光雷达（LiDAR）点云处理 · 雷达信号处理 · IMU数据融合基础
传感器模态基础LiDAR
08
多模态表示学习
联合表示与协同表示 · 对比学习（CLIP · SimCLR）在多模态中的应用
多模态表示学习联合表示
09
多模态对齐技术
时间对齐（动态时间规整DTW） · 空间对齐（坐标变换 · 投影）
多模态对齐技术DTW
10
多模态融合方法（一）
早期融合（Early Fusion） · 晚期融合（Late Fusion） · 混合融合（Hybrid Fusion…
多模态融合方法Early
11
多模态融合方法（二）
基于注意力机制的融合（Cross-A… · Transformer Fusion… · 张量融合（Tensor Fusion…
多模态融合方法Cross-A
12
多模态融合方法（三）
图神经网络在多模态融合中的应用（MM… · 动态融合与门控机制
多模态融合方法MM
13
多模态生成模型
多模态变分自编码器（MVAE） · 多模态生成对抗网络（MMGAN） · 文本到图像生成（DALL·E
多模态生成模型MVAE
14
多模态预训练模型（一）
ViLT · VisualBERT · UNITER——视觉与语言联合预训练
多模态预训练模型ViLT
15
多模态预训练模型（二）
CLIP与ALIGN——图文对比学习 · Flamingo——少样本多模态学习
多模态预训练模型CLIP
16
多模态预训练模型（三）
BEiT-3 · ImageBind——统一多模态表征 · 与多模态大语言模型
多模态预训练模型BEiT-3
17
多模态感知在自动驾驶中的应用
目标检测（YOLO · Faster R-CNN） · 多传感器融合（相机+LiDAR+雷达…
多模态感知自动驾驶
18
多模态感知在机器人中的应用
视觉-语言导航（VLN） · 抓取检测 · 人机交互中的多模态理解
多模态感知机器人
19
多模态感知在医疗影像中的应用
医学图像-报告生成 · 多模态疾病诊断（CT+MRI+文本） · 病理图像与基因组学融合
多模态感知医疗影像
20
多模态感知在工业质检中的应用
视觉+声学异常检测 · 多模态缺陷分类 · 实时融合系统设计
多模态感知工业质检
21
多模态数据集与评估指标
常用数据集（MSCOCO · Flickr30k · AudioSet
多模态数据集评估指标
22
多模态感知系统搭建（一）
数据采集与预处理（多模态数据同步 · 清洗 · 增强）
多模态感知系统搭…数据采集
23
多模态感知系统搭建（二）
特征提取Pipeline设计 · 模型训练与调优（多任务学习 · 损失函数设计）
多模态感知系统搭…Pipeline
24
多模态感知系统搭建（三）
模型部署与推理优化（ONNX · TensorRT · 量化）
多模态感知系统搭…ONNX
25
多模态感知中的挑战（一）
缺失模态处理（模态补全 · 模态Dropout） · 模态不平衡问题
多模态感知挑战
26
多模态感知中的挑战（二）
跨模态泛化与域适应 · 对抗攻击与鲁棒性
多模态感知挑战
27
多模态感知中的挑战（三）
可解释性（注意力可视化 · 概念瓶颈模型） · 公平性与偏见
多模态感知挑战
28
前沿研究方向（一）
具身智能中的多模态感知 · 多模态思维链（Multimodal… · 世界模型
前沿研究方向具身智能
29
前沿研究方向（二）
多模态基础模型（ · Gemini） · 实时多模态交互系统
前沿研究方向
30
课程总结与项目实战
端到端多模态感知系统项目（从需求分析… · 职业发展建议与学习资源推荐
课程总结项目实战