所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

多模态感知算法从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
多模态感知的定义 · 发展历程 · 典型应用场景（自动驾驶
课程导入多模态感知的定义
02
数学基础与工具
线性代数 · 概率论 · 信息论
数学基础工具
03
多模态数据基础
图像 · 文本 · 音频
多模态数据基础图像
04
特征提取与表示学习
各模态的经典特征（SIFT · MFCC · 词向量）与深度特征（CNN
特征提取表示学习
05
多模态对齐技术
时间对齐 · 空间对齐 · 语义对齐的基本方法（如动态时间规整
多模态对齐技术时间对齐
06
多模态融合策略
早期融合 · 晚期融合 · 混合融合
多模态融合策略早期融合
07
多模态注意力机制
自注意力 · 交叉注意力 · Transformer在多模态融合中…
多模态注意力机制自注意力
08
多模态预训练模型
CLIP · ALIGN · ViLBERT
多模态预训练模型CLIP
09
跨模态检索与匹配
图文检索 · 音视频检索的经典方法（双塔模型 · 三元组损失）与评估指标
跨模态检索匹配
10
多模态情感分析
文本 · 语音 · 视觉模态的情感识别
多模态情感分析文本
11
多模态目标检测与分割
RGB-D目标检测 · 点云与图像融合的3D检测（如Poin… · Frustum PointNets）
多模态目标检测分割
12
多模态跟踪与定位
视觉-雷达融合的目标跟踪 · 多传感器融合的SLAM与定位技术
多模态跟踪定位
13
多模态动作识别
视频+骨骼+音频的动作识别方法（如3… · 双流网络 · Transformer）与数据集（N…
多模态动作识别视频+骨骼+音频…
14
多模态语音增强与分离
音视频联合的语音分离（如AVSpee… · Look · Listen and Learn）与…
多模态语音增强分离
15
多模态生成模型
跨模态生成（文本到图像 · 图像到文本 · 语音到视频）的GAN
多模态生成模型跨模态生成
16
多模态知识蒸馏与压缩
跨模态蒸馏 · 模型轻量化技术（量化 · 剪枝）在多模态场景中的实践
多模态知识蒸馏压缩
17
多模态数据增强与鲁棒性
模态缺失 · 噪声 · 对抗攻击下的鲁棒性提升方法
多模态数据增强鲁棒性
18
多模态感知中的不确定性建模
贝叶斯深度学习 · 证据理论在多模态融合中的不确定性估计
多模态感知不确定性建模
19
多模态感知的因果推理
因果推断在多模态融合中的应用 · 消除模态偏见与混淆
多模态感知的因果…因果推断
20
多模态感知的联邦学习与隐私保护
多模态数据隐私 · 联邦学习框架（如FedAvg）在分布…
多模态感知的联邦…隐私保护
21
多模态感知的实时性与嵌入式部署
模型加速 · 边缘计算 · TensorRT/ONNX部署实战
多模态感知的实时…嵌入式部署
22
多模态感知在自动驾驶中的应用
摄像头 · 激光雷达 · 毫米波雷达融合的感知方案（如BEV感…
多模态感知自动驾驶
23
多模态感知在机器人中的应用
视觉-触觉-力觉融合的抓取与操作 · 以及人机交互中的多模态理解
多模态感知机器人
24
多模态感知在医疗影像中的应用
CT/MRI/PET多模态融合诊断 · 病理图像与文本报告生成
多模态感知医疗影像
25
多模态感知在智能安防中的应用
人脸识别+步态识别+语音识别的多模态…
多模态感知智能安防
26
多模态感知在工业质检中的应用
视觉+红外+声学融合的缺陷检测与故障…
多模态感知工业质检
27
多模态感知在增强现实/虚拟现实中的应用
多模态SLAM · 手势识别与场景理解
多模态感知增强现实
28
多模态感知的评估与基准
常用数据集（COCO · Kinetics · NuScenes）
多模态感知的评估基准
29
多模态感知的常见问题与调试
模态缺失 · 对齐错误 · 过拟合
多模态感知的常见…调试
30
综合实战项目与前沿展望
从零构建一个多模态感知系统（如多模态… · 并探讨未来趋势（如多模态大模型 · 世界模型）
综合实战项目前沿展望