VIP9
本课程属于：089-World Model自动驾驶世界模型工程 智能汽车与新能源汽车工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

VLA与World Model协同推理工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=VLA与World Model… · 核心概念 · 整体框架与产业应用全景
课程导入VLA
02
VLA基础
目标=视觉-语言-动作模型的定义 · 发展脉络 · 典型架构（如RT-2
VLA目标=视觉
03
World Model基础
目标=世界模型的定义 · 分类（视频预测 · 隐空间动力学
WorldModel
04
协同推理的动机
目标=为什么VLA需要World M… · 单模型局限 · 协同带来的泛化与规划优势
协同推理的动机VLA
05
多模态表征对齐
目标=视觉 · 语言 · 动作与状态空间的联合嵌入方法
多模态表征对齐目标=视觉
06
World Model的构建方法
目标=基于RNN · Transformer · 扩散模型与状态空间模型的动力学学习
WorldModel
07
VLA中的动作生成
目标=离散动作 · 连续动作回归 · 扩散策略
VLA动作生成
08
协同推理架构设计
目标=串行 · 并行 · 级联与迭代式交互模式
协同推理架构设计目标=串行
09
训练流程与数据工程
目标=多源数据采集（遥操作 · 仿真 · 互联网视频）
训练流程数据工程
10
仿真环境与基准
目标=Habitat · AI2-THOR · Isaac Sim
仿真环境基准
11
World Model辅助的规划与想象
目标=基于模型的规划（MPC · CEM） · 想象 rollout
WorldModel
12
VLA与World Model的联合训练
目标=端到端微调 · 交替优化 · 知识蒸馏
VLAWorld
13
推理加速与部署
目标=量化 · 剪枝 · 蒸馏
推理加速部署
14
案例实战一
目标=桌面机械臂抓取——VLA感知与…
案例实战一VLA
15
案例实战二
目标=移动机器人导航——利用Worl…
案例实战二Worl
16
案例实战三
目标=自动驾驶场景——VLA理解交通…
案例实战三VLA
17
案例实战四
目标=游戏与虚拟智能体——在开放世界…
案例实战四目标=游戏
18
评估与诊断
目标=任务成功率 · 泛化测试 · 鲁棒性分析
评估诊断
19
常见问题一
目标=模态缺失与噪声——传感器故障 · 语言歧义 · 视觉遮挡下的协同推理鲁棒性提升
常见问题一目标=模态缺失
20
常见问题二
目标=分布外泛化——新物体 · 新指令 · 新环境中的协同模型适应与持续学习策略
常见问题二目标=分布外泛化
21
常见问题三
目标=长程推理与误差累积——Worl… · VLA动作偏差与闭环校正机制
常见问题三Worl
22
常见问题四
目标=计算资源与实时性——大模型推理… · 内存占用与协同调度的工程优化
常见问题四目标=计算资源
23
常见问题五
目标=安全与对齐——动作安全约束 · World Model幻觉抑制 · 人类反馈与价值对齐
常见问题五目标=安全
24
前沿进展一
目标=多模态大模型与具身智能——GP… · Gemini · LLaVA等与VLA/World M…
前沿进展一GP
25
前沿进展二
目标=视频生成作为世界模型——Sor… · Genie · UniSim等对协同推理的启发与挑战
前沿进展二Sor
26
前沿进展三
目标=神经符号与因果推理——将符号规… · 因果发现引入VLA与World Mo…
前沿进展三目标=神经符号
27
综合项目一
目标=从零构建协同推理原型——需求分… · 架构选型 · 数据准备
综合项目一目标=从零构建协…
28
综合项目二
目标=真实机器人部署——硬件选型 · ROS集成 · 安全监控与现场调试全流程
综合项目二目标=真实机器人…
29
综合项目三
目标=论文复现与改进——选择一篇VL… · 复现并设计改进实验
综合项目三VL
30
课程总结与职业发展
目标=知识体系回顾 · 开放问题 · 学习资源
课程总结职业发展