所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

多模态大模型训练与跨模态融合

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
多模态大模型的定义 · 发展历程 · 核心价值与典型应用场景
课程导入多模态大模型的定…
02
多模态基础
文本 · 图像 · 音频
多模态基础文本
03
跨模态融合核心概念
对齐 · 融合 · 协同学习的基本原理与主流范式（早期融…
跨模态融合核心概…对齐
04
主流多模态大模型架构
CLIP · ViT · BERT
主流多模态大模型…CLIP
05
多模态数据工程
数据采集 · 清洗 · 标注
多模态数据工程数据采集
06
多模态预训练任务
对比学习 · 掩码建模 · 图文匹配
多模态预训练任务对比学习
07
多模态大模型训练基础
训练流程 · 损失函数 · 优化器选择
多模态大模型训练…训练流程
08
跨模态注意力机制
自注意力 · 交叉注意力 · 门控注意力在多模态融合中的应用与实现
跨模态注意力机制自注意力
09
多模态特征对齐方法
度量学习 · 对抗对齐 · 最优传输等技术的原理与实战
多模态特征对齐方…度量学习
10
多模态融合策略进阶
动态融合 · 分层融合 · 图神经网络融合等高级方法
多模态融合策略进…动态融合
11
多模态大模型微调技术
全量微调 · LoRA · Adapter
多模态大模型微调…全量微调
12
多模态指令微调
构建多模态指令数据集 · 指令微调流程与评估方法
多模态指令微调构建多模态指令数…
13
多模态大模型推理优化
模型压缩 · 量化 · 剪枝
多模态大模型推理…模型压缩
14
多模态大模型评估体系
图文检索 · 视觉问答 · 图像描述
多模态大模型评估…图文检索
15
多模态大模型的可解释性
注意力可视化 · 归因分析 · 概念激活向量等方法
多模态大模型的可…注意力可视化
16
多模态大模型的鲁棒性与安全性
对抗攻击 · 数据污染 · 偏见消除与安全对齐
多模态大模型的鲁…安全性
17
多模态大模型在视觉问答（VQA）中的应用
经典VQA模型 · 训练技巧与实战项目
VQA多模态大模型
18
多模态大模型在图文检索中的应用
跨模态检索系统设计 · 双塔模型与负采样策略
多模态大模型图文检索
19
多模态大模型在图像描述生成中的应用
编码器-解码器架构 · 注意力机制与评估
多模态大模型图像描述生成
20
多模态大模型在视频理解中的应用
视频特征提取 · 时序建模与视频问答实战
多模态大模型视频理解
21
多模态大模型在语音与文本融合中的应用
语音识别 · 语音翻译与多模态对话系统
多模态大模型语音
22
多模态大模型在医疗影像诊断中的应用
医学图像与文本报告融合 · 辅助诊断实战
多模态大模型医疗影像诊断
23
多模态大模型在自动驾驶中的应用
视觉 · 雷达 · 文本指令融合与决策系统
多模态大模型自动驾驶
24
多模态大模型在推荐系统中的应用
多模态用户画像 · 跨模态推荐算法与案例
多模态大模型推荐系统
25
多模态大模型训练中的常见问题
数据不平衡 · 模态缺失 · 过拟合
多模态大模型训练常见问题
26
多模态大模型的分布式训练
数据并行 · 模型并行 · 混合并行与大规模训练实践
多模态大模型的分…数据并行
27
多模态大模型的开源生态与工具
HuggingFace Transf… · DeepSpeed · Megatron等框架的使用
多模态大模型的开…工具
28
多模态大模型的前沿趋势
统一多模态模型 · 世界模型 · 具身智能与多模态智能体
多模态大模型的前…统一多模态模型
29
综合实战项目
从零构建一个多模态大模型（如图文检索… · 涵盖数据 · 训练
综合实战项目从零构建一个多模…
30
课程总结与进阶路径
知识体系回顾 · 常见误区 · 学习资源推荐与未来研究方向
课程总结进阶路径