VIP7
本课程属于：064-多模态视觉感知与融合 AI智能与边缘计算工程 · 共 7 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模态感知算法从入门到工程落地

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
多模态感知概述
什么是多模态 · 为什么需要多模态 · 典型应用场景（自动驾驶
多模态感知概述什么是多模态
02
核心概念与挑战
模态对齐 · 模态融合 · 模态缺失
核心概念挑战
03
数学基础回顾
线性代数（矩阵运算 · 特征分解） · 概率论（贝叶斯定理
数学基础回顾线性代数
04
图像模态基础
CNN原理 · ResNet · EfficientNet
图像模态基础CNN
05
文本模态基础
Word2Vec · BERT ·
文本模态基础Word2Vec
06
音频模态基础
MFCC · Spectrogram · Wav2Vec
音频模态基础MFCC
07
3D点云模态基础
PointNet · PointNet++ · VoxelNet
3D点云模态基础PointNet
08
时序模态基础
LSTM · Transformer · Informer
时序模态基础LSTM
09
模态对齐技术
时间对齐 · 空间对齐 · 语义对齐
模态对齐技术时间对齐
10
早期融合（Early Fusion）
直接拼接 · 加权融合 · 实战案例
EarlyFusion
11
晚期融合（Late Fusion）
决策级融合 · 平均/投票 · 实战案例
LateFusion
12
中间融合（Intermediate Fusion）
Cross-Attention · 门控机制 · 实战案例
IntermediateFusion
13
基于Transformer的多模态模型
ViLT · CLIP · Flamingo
Transformer基于
14
多模态表示学习
对比学习（Contrastive L… · 多模态自编码器 · ALBEF
多模态表示学习Contrastive
15
多模态生成模型
DALL-E · Stable Diffusion · Make-A-Video
多模态生成模型DALL-E
16
模态缺失与鲁棒性
缺失模态推理 · 模态补全 · Dropout策略
模态缺失鲁棒性
17
多模态数据集
MSCOCO · AudioSet · Kinetics
多模态数据集MSCOCO
18
数据预处理与增强
图像增强 · 文本增强 · 音频增强
数据预处理增强
19
评估指标
R@1 · FID · CLIP Score
评估指标R@1
20
模型压缩与部署
量化 · 剪枝 · 蒸馏
模型压缩部署
21
工程架构设计
数据管道 · 模型服务 · 推理优化
工程架构设计数据管道
22
多模态搜索系统
图文搜索 · 视频搜索 · 跨模态检索系统实战
多模态搜索系统图文搜索
23
多模态问答系统
视觉问答（VQA） · 视频问答 · 多模态对话系统实战
多模态问答系统VQA
24
多模态情感分析
文本+语音+表情的情感识别 · 多模态情感数据集
多模态情感分析文本+语音+表情…
25
自动驾驶多模态感知
相机+LiDAR+雷达融合 · BEV感知 · Occupancy Network
自动驾驶多模态感…LiDAR+
26
医疗多模态诊断
影像+文本报告+基因数据融合 · 多模态病理分析
医疗多模态诊断影像+文本报告+…
27
工业多模态质检
视觉+声学+振动信号融合 · 异常检测实战
工业多模态质检视觉+声学+振动…
28
多模态大模型微调
LoRA · Adapter · Prompt Tuning
多模态大模型微调LoRA
29
多模态Agent
Tool Use · ReAct · 多模态RAG
Agent多模态
30
课程总结与未来展望
多模态前沿趋势 · AGI中的多模态 · 学习路径建议
课程总结未来展望