VIP8
本课程属于：008-世界模型与JEPA工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

世界模型视频预测从训练到部署实战课

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
世界模型与视频预测的定义 · 发展历程 · 核心价值
课程导入世界模型
02
环境搭建与工具准备
Python · PyTorch · CUDA
环境搭建工具准备
03
视频数据基础
视频数据的表示（RGB · 光流 · 深度）
视频数据基础RGB
04
世界模型核心概念
隐状态 · 潜在空间 · 自回归预测
世界模型核心概念隐状态
05
经典视频预测模型综述
ConvLSTM · PredNet · Video Ladder Netwo…
经典视频预测模型…ConvLSTM
06
基于GAN的视频预测
VideoGAN · MoCoGAN等生成对抗网络在视频预… · 包括生成器与判别器设计
GAN基于
07
基于VAE的视频预测
Video VAE · SVG（Stochastic Vid… · 学习随机潜在动态
VAE基于
08
基于Transformer的视频预测
Video Transformer · TimeSformer · ViViT等架构如何建模时空依赖
Transformer基于
09
基于扩散模型的视频预测
Diffusion-based vi… · VideoFusion）的原理 · 去噪过程
基于扩散模型的视…Diffusion-ba…
10
世界模型中的记忆与状态管理
记忆网络 · 神经图灵机 · 状态空间模型（SSM）如何增强长期依…
世界模型记忆
11
动作条件与多模态输入
如何将动作指令 · 文本描述 · 传感器数据等条件信息融入视频预测模型
动作条件多模态输入
12
损失函数与评估指标
MSE · SSIM · LPIPS
损失函数评估指标
13
训练策略与优化技巧
学习率调度 · 梯度裁剪 · 混合精度训练
训练策略优化技巧
14
数据预处理与加载优化
视频解码加速 · 帧采样策略 · 缓存机制
数据预处理加载优化
15
模型架构设计实战
从零搭建一个简单的视频预测模型（如C… · 包括网络结构 · 参数初始化
模型架构设计实战从零搭建一个简单…
16
训练循环实现
编写训练脚本 · 包括数据迭代 · 损失计算
训练循环实现编写训练脚本
17
验证与测试流程
如何设计验证集 · 计算评估指标 · 可视化预测结果（视频对比
验证测试流程
18
案例实战一
基于BAIR数据集训练一个视频预测模… · 从数据准备到训练完成 · 并分析结果
案例实战一BAIR
19
案例实战二
基于KITTI数据集进行自动驾驶场景… · 处理动态背景与相机运动
案例实战二KITTI
20
案例实战三
基于Something-Someth… · 理解物体交互与时间动态
案例实战三Something-So…
21
模型压缩与加速
剪枝 · 量化 · 知识蒸馏
模型压缩加速
22
部署环境准备
ONNX · TensorRT · TorchScript
部署环境准备ONNX
23
服务化部署
使用FastAPI · Flask或gRPC搭建视频预测服务 · 包括请求处理
服务化部署FastAPI
24
端侧部署实战
将模型部署到Jetson · 手机或嵌入式设备 · 考虑内存
端侧部署实战Jetson
25
常见问题与调试
训练不收敛 · 梯度爆炸/消失 · 模式崩溃
常见问题调试
26
模型鲁棒性与泛化
跨域测试 · 对抗样本 · 噪声鲁棒性
模型鲁棒性泛化
27
前沿进展与趋势
最新世界模型（如Dreamer · IRIS · Genie）
前沿进展趋势
28
综合项目实战
从零构建一个完整的视频预测系统 · 包括数据 · 模型
综合项目实战从零构建一个完整…
29
课程总结与进阶路径
回顾核心知识点 · 推荐论文 · 开源代码
课程总结进阶路径
30
结业测试与答疑
设计综合测试题（理论+实践） · 针对常见疑问进行解答 · 并给出后续学习建议
结业测试答疑