VIP7
本课程属于：064-多模态视觉感知与融合 AI智能与边缘计算工程 · 共 7 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

注意力机制在多模态融合中的工程实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
多模态融合概述
什么是多模态数据 · 多模态学习的挑战 · 注意力机制为什么适合多模态融合
多模态融合概述什么是多模态数据
02
注意力机制基础
从Seq2Seq到Attention · Bahdanau Attention… · 自注意力与交叉注意力
注意力机制基础Seq2Seq
03
Transformer核心原理
Scaled Dot-Product… · 多头注意力机制 · 位置编码与Transformer结构
Transformer核心原理
04
多模态特征提取
图像特征提取（CNN/ViT） · 文本特征提取（BERT/） · 音频特征提取（Wav2Vec/Whi…
多模态特征提取CNN/ViT
05
早期融合与注意力
早期融合的优缺点 · 基于注意力的早期融合设计 · 代码实战：图像+文本早期融合
早期融合注意力
06
晚期融合与注意力
晚期融合的优缺点 · 基于注意力的晚期融合设计 · 代码实战：多分类器融合
晚期融合注意力
07
中间融合与跨模态注意力
中间融合的核心思想 · 跨模态注意力机制 · 代码实战
间融合跨模态注意力
08
双线性注意力机制
双线性池化与注意力 · 低秩双线性注意力 · 代码实战：多模态情感分析
双线性注意力机制双线性池化
09
门控注意力机制
门控机制原理 · 门控注意力融合 · 代码实战：医疗影像报告生成
门控注意力机制门控机制原理
10
分层注意力机制
分层编码与注意力 · 层级融合策略 · 代码实战：视频描述生成
分层注意力机制分层编码
11
记忆增强注意力
外部记忆机制 · 记忆注意力融合 · 代码实战：视觉问答系统
记忆增强注意力外部记忆机制
12
图注意力多模态融合
图神经网络基础 · 图注意力机制 · 代码实战：多模态知识图谱
图注意力多模态融…图神经网络基础
13
Transformer在多模态中的应用
ViLBERT · LXMERT · UNITER模型解析
Transformer多模态
14
CLIP与多模态对齐
对比学习基础 · CLIP模型原理 · 代码实战：零样本分类
CLIP多模态对齐
15
多模态预训练范式
MLM · ITM · MRC预训练任务
多模态预训练范式MLM
16
多模态注意力优化
稀疏注意力 · 线性注意力 · FlashAttention技术
多模态注意力优化稀疏注意力
17
多模态注意力可解释性
注意力可视化 · 注意力归因分析 · 代码实战：注意力热力图
多模态注意力可解…注意力可视化
18
多模态注意力蒸馏
知识蒸馏基础 · 注意力蒸馏策略 · 代码实战：轻量化多模态模型
多模态注意力蒸馏知识蒸馏基础
19
多模态注意力部署
ONNX导出 · TensorRT加速 · 边缘端部署实践
多模态注意力部署ONNX
20
多模态数据增强
文本增强 · 图像增强 · 跨模态数据增强
多模态数据增强文本增强
21
多模态融合中的噪声处理
模态缺失 · 模态噪声 · 鲁棒注意力设计
多模态融合噪声处理
22
多模态融合中的时序建模
时序注意力 · 门控循环注意力 · 代码实战：视频理解
多模态融合时序建模
23
多模态融合中的空间建模
空间注意力 · 位置编码融合 · 代码实战：3D目标检测
多模态融合空间建模
24
多模态融合中的频率建模
频域注意力 · 小波注意力 · 代码实战：医学图像融合
多模态融合频率建模
25
多模态融合中的因果推理
因果注意力 · 反事实推理 · 代码实战：多模态因果分析
多模态融合因果推理
26
多模态融合中的生成任务
注意力引导生成 · 扩散模型与注意力 · 代码实战：文本到图像生成
多模态融合生成任务
27
多模态融合中的检索任务
跨模态检索 · 注意力哈希 · 代码实战：图文检索系统
多模态融合检索任务
28
多模态融合中的对话系统
多模态对话状态跟踪 · 注意力对话策略 · 代码实战：多模态聊天机器人
多模态融合对话系统
29
多模态融合中的推荐系统
多模态推荐 · 注意力协同过滤 · 代码实战：多模态商品推荐
多模态融合推荐系统
30
多模态融合前沿与展望
大模型时代的多模态 · 与Gemini启示 · 未来研究方向
多模态融合前沿大模型时代的多模…