VIP20
本课程属于：005-世界模型 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

生成式世界模型多模态应用实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
生成式世界模型的定义 · 发展背景 · 核心价值
课程导入生成式世界模型的…
02
基础概念
世界模型 · 生成模型 · 多模态学习的基本概念
基础概念世界模型
03
多模态数据基础
文本 · 图像 · 音频
多模态数据基础文本
04
生成式模型核心
VAE · GAN · 扩散模型
生成式模型核心VAE
05
世界模型核心
世界模型的概念 · 经典架构（如Dreamer · World Models）
世界模型核心世界模型的概念
06
多模态融合技术
早期融合 · 晚期融合 · 跨模态注意力
多模态融合技术早期融合
07
多模态生成任务
文本到图像 · 文本到视频 · 图像到文本
多模态生成任务文本到图像
08
世界模型中的多模态感知
如何将视觉 · 语言 · 动作等多模态信息统一编码到世界模型的…
世界模型多模态感知
09
环境交互与数据采集
在仿真环境（如Habitat · CARLA）和真实场景中采集多模态交…
环境交互数据采集
10
模型训练基础
多模态世界模型的训练目标 · 损失函数设计 · 以及训练稳定性技巧
模型训练基础多模态世界模型的…
11
常用工具与框架
PyTorch · HuggingFace Transf… · Diffusers
常用工具框架
12
实战项目一
基于扩散模型的文本到图像生成——从零…
实战项目一基于扩散模型的文…
13
实战项目二
视频预测世界模型——利用视频帧预测未… · 实现简单环境中的动作规划
实战项目二视频预测世界模型
14
实战项目三
多模态对话系统——结合视觉与语言的世…
实战项目三多模态对话系统
15
实战项目四
自动驾驶场景中的多模态世界模型——融… · 雷达 · 地图数据预测未来场景
实战项目四自动驾驶场景
16
实战项目五
机器人操作中的世界模型——利用视觉-…
实战项目五机器人操作
17
模型评估方法
多模态生成质量评估指标（FID · IS · CLIP Score等）以及世界模型…
模型评估方法FID
18
数据增强与合成
利用生成模型扩充多模态训练数据 · 以及数据平衡与去偏技巧
数据增强合成
19
模型压缩与加速
知识蒸馏 · 量化 · 剪枝等技术在多模态世界模型中的应用
模型压缩加速
20
多模态世界模型的可解释性
可视化隐空间 · 注意力图 · 以及生成过程的可解释性分析
多模态世界模型的…可视化隐空间
21
常见问题与调试
训练不稳定 · 模式崩溃 · 多模态对齐失败等问题的诊断与解决方案
常见问题调试
22
大规模预训练与微调
如何利用预训练多模态模型（如CLIP · GPT-4V）进行世界模型的初始化与…
大规模预训练微调
23
强化学习与世界模型
基于世界模型的模型预测控制（MPC） · Dreamer算法等强化学习集成方法
强化学习世界模型
24
多智能体与多模态世界模型
多智能体环境中的联合建模 · 通信与协作
多智能体多模态世界模型
25
伦理与安全
生成式世界模型的潜在风险 · 偏见 · 滥用问题及应对策略
伦理安全
26
前沿研究综述
最新论文解读 · 包括Genie · UniSim
前沿研究综述最新论文解读
27
综合实战
构建一个完整的“视觉-语言-动作”世… · 完成从数据采集到部署的闭环
综合实战构建一个完整的“…
28
部署与工程化
将多模态世界模型部署到边缘设备 · 云端服务 · 以及推理优化
部署工程化
29
项目答辩与复盘
学员项目展示 · 常见错误总结 · 优化方向建议
项目答辩复盘
30
课程总结与进阶路径
核心知识回顾 · 学习资源推荐 · 未来研究方向与职业发展建议
课程总结进阶路径