VIP20
本课程属于：005-世界模型 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

生成式世界模型视频预测实战课程完整讲义

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 所需数学与编程基础
课程导入学习目标
02
视频预测基础
视频数据表示 · 帧序列建模 · 时空相关性
视频预测基础视频数据表示
03
世界模型概念
世界模型的定义 · 与视频预测的关系 · 经典世界模型（如World Mode…
世界模型概念世界模型的定义
04
生成式模型基础
自回归模型 · 变分自编码器（VAE） · 生成对抗网络（GAN）
生成式模型基础自回归模型
05
视频预测经典方法
基于光流的方法 · 基于RNN/LSTM的方法 · 基于卷积LSTM的方法（如ConvL…
视频预测经典方法基于光流的方法
06
基于Transformer的视频预测
Vision Transformer · Video Transformer · 时空注意力机制
Transformer基于
07
扩散模型用于视频预测
去噪扩散概率模型（DDPM） · 视频扩散模型（如VDM · VideoFusion）
扩散模型用于视频…DDPM
08
世界模型中的潜在空间建模
VQ-VAE · VQ-GAN · 潜在扩散模型（LDM）如何用于压缩视…
世界模型空间建模
09
动作条件与多模态输入
如何将动作 · 控制信号 · 文本描述等条件信息注入视频预测模型
动作条件多模态输入
10
长时程视频预测
递归预测 · 自回归误差累积 · 课程学习
长时程视频预测递归预测
11
不确定性建模与随机预测
随机视频预测 · 随机潜在变量 · 蒙特卡洛采样
不确定性建模随机预测
12
视频预测中的物理先验
物理感知的损失函数 · 神经物理引擎 · 刚体动力学
视频预测物理先验
13
数据集与预处理
常用视频预测数据集（如KTH · BAIR · RoboNet
数据集预处理
14
模型评估与基准测试
定量指标 · 定性评估 · 人类评估
模型评估基准测试
15
实战项目一
基于ConvLSTM的简单视频预测模… · 评估的完整流程
实战项目一ConvLSTM
16
实战项目二
基于Transformer的视频预测… · 训练技巧与性能调优
实战项目二Transformer
17
实战项目三
基于扩散模型的视频预测——实现条件扩… · 采样策略与加速推理
实战项目三基于扩散模型的视…
18
实战项目四
世界模型驱动的智能体控制——结合Dr… · 在模拟环境中进行规划与决策
实战项目四Dr
19
模型优化与加速
模型剪枝 · 量化 · 知识蒸馏
模型优化加速
20
常见问题与调试技巧
训练不稳定 · 模式崩溃 · 梯度消失/爆炸
常见问题调试技巧
21
视频预测中的公平性与偏差
数据偏差 · 模型偏见 · 伦理考量
视频预测公平性
22
前沿研究进展
最新论文解读 · SOTA方法分析 · 开放问题与未来方向（如NeRF世界模…
前沿研究进展最新论文解读
23
跨领域应用
自动驾驶 · 机器人操作 · 视频压缩
跨领域应用自动驾驶
24
模型部署与工程化
从研究原型到生产系统 · 推理服务 · 边缘部署
模型部署工程化
25
综合实战项目
设计一个完整的视频预测系统——需求分… · 数据准备 · 模型选型
综合实战项目设计一个完整的视…
26
课程总结与知识图谱
核心概念回顾 · 技能树梳理 · 学习路径建议
课程总结知识图谱
27
进阶专题
基于NeRF和3D高斯溅射的世界模型 · 神经辐射场与视频预测的结合
进阶专题NeRF
28
进阶专题
多智能体世界模型 · 交互式环境预测 · 因果推理与反事实预测
进阶专题多智能体世界模型
29
进阶专题
自监督学习与预训练策略 · 大规模视频预训练模型（如VideoM… · VideoGPT）的微调与适配
进阶专题自监督学习
30
结业项目答辩与反馈
项目展示 · 评审标准 · 常见错误分析
结业项目答辩反馈