VIP7
本课程属于：064-多模态视觉感知与融合 AI智能与边缘计算工程 · 共 7 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多模态融合算法全流程实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
多模态融合概述
什么是多模态 · 为什么需要融合 · 典型应用场景（图文检索
多模态融合概述什么是多模态
02
多模态数据表示基础
文本的向量化（Word2Vec/BE… · 图像的CNN特征提取 · 音频的频谱特征
多模态数据表示基…Word2Vec/BE
03
经典融合架构
早期融合（Early Fusion） · 晚期融合（Late Fusion） · 混合融合（Hybrid Fusion…
经典融合架构Early
04
注意力机制入门
从Seq2Seq到Transform… · Self-Attention与Cro…
注意力机制入门Seq2Seq
05
跨模态注意力（Cross-Attention）
图文匹配中的QKV设计 · 如何让文本关注图像区域
Cross-Attent…跨模态注意力
06
多模态Transformer架构
ViLT · CLIP · Flamingo的设计思路与核心差异
Transformer多模态
07
模态对齐（Alignment）
对比学习（Contrastive L… · InfoNCE损失函数
Alignment模态对齐
08
模态缺失处理
训练时随机Mask模态 · 模态翻译（Modality Tran… · 生成式补全
模态缺失处理Mask
09
多模态数据集构建
数据采集 · 清洗 · 标注（如COCO
多模态数据集构建数据采集
10
数据预处理Pipeline
图像Resize/Normalize · 文本Tokenize · 音频重采样/分帧
Pipeline数据预处理
11
特征提取器选型
ResNet vs ViT · BERT vs RoBERTa · Wav2Vec2 vs HuBERT
特征提取器选型ResNet
12
多模态融合模型搭建（PyTorch实战）
构建一个简单的图文匹配模型 · 包含文本编码器 · 图像编码器
PyTorch多模态融合模型搭…
13
损失函数设计
对比损失（Contrastive L… · 三元组损失（Triplet Loss… · 交叉熵损失在多模态任务中的适配
损失函数设计Contrastive
14
训练策略
多卡训练（DDP） · 混合精度训练（AMP） · 梯度累积
训练策略DDP
15
评估指标
Recall@K（图文检索） · CIDEr/BLEU（图像描述） · F1-score（音视频分类）
评估指标Recall
16
多模态检索系统实战
基于CLIP的图文检索 · 包括特征索引构建（FAISS） · 相似度搜索
多模态检索系统实…CLIP
17
图像描述（Image Captioning）实战
使用Show-Attend-Tell… · 从图像生成自然语言描述
ImageCaptioning
18
视觉问答（VQA）实战
基于LXMERT或ViLT · 输入图像+问题 · 输出答案
VQA视觉问答
19
视频理解中的多模态融合
视频帧采样 · 光流特征 · 音频特征融合
视频理解多模态融合
20
多模态情感分析
结合文本 · 语音 · 面部表情进行情感识别
多模态情感分析结合文本
21
多模态生成
文本到图像生成（Stable Dif… · 图像到文本生成（BLIP-2） · 理解扩散模型与多模态的交叉
多模态生成Stable
22
模型压缩与部署
知识蒸馏（Distillation） · 量化（Quantization） · ONNX导出
模型压缩部署
23
多模态模型的可解释性
注意力图可视化（Grad-CAM） · 特征归因（Integrated Gr… · 理解模型关注点
多模态模型的可解…Grad-CAM
24
多模态大模型（MLLM）入门
LLaVA · Qwen-VL · 的架构特点与Prompt…
MLLM多模态大模型
25
多模态Agent
结合工具调用（Tool Use）与多… · 构建能看 · 能听
Agent多模态
26
多模态数据增强
文本回译 · 图像CutMix · 音频SpecAugment
多模态数据增强文本回译
27
多模态预训练范式
Masked Language Mo… · 对比学习预训练流程
多模态预训练范式Masked
28
多模态模型微调（Fine-tuning）
LoRA · Adapter · Prompt Tuning在视觉-语…
Fine-tuning多模态模型微调
29
多模态模型评测与Benchmark
COCO Caption · VQAv2 · AudioSet
Benchmark多模态模型评测
30
多模态融合的未来趋势
统一多模态架构（如ImageBind… · 具身智能 · 多模态世界模型
多模态融合的未来…ImageBind