所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

VLA视觉语言动作模型与多模态融合

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
VLA模型的定义 · 发展背景 · 核心价值
课程导入VLA
02
多模态基础
视觉 · 语言 · 动作三种模态的数据表示
多模态基础视觉
03
视觉编码器
CNN · ViT · CLIP等视觉特征提取方法及其在VL…
视觉编码器CNN
04
语言模型基础
Transformer · BERT · 等语言模型原理及与视觉的交互方…
语言模型基础Transformer
05
动作模态建模
关节角度 · 末端位姿 · 轨迹
动作模态建模关节角度
06
多模态融合架构
早期融合 · 晚期融合 · 跨注意力
多模态融合架构早期融合
07
VLA经典模型解析
RT-1 · RT-2 · PaLM-E
VLA经典模型解析
08
视觉-语言-动作对齐
对比学习 · 跨模态注意力 · 统一嵌入空间的设计
视觉语言
09
数据与数据集
VLA常用数据集（如Bridge · RLBench · Language-Table）的构建…
数据数据集
10
数据增强与仿真
仿真环境（如Robosuite · Isaac Gym）在VLA训练中的…
数据增强仿真
11
预训练与微调
大规模预训练策略 · 任务微调 · 参数高效微调（LoRA等）
预训练微调
12
动作生成与策略学习
从语言指令到动作序列的生成方法 · 行为克隆与强化学习结合
动作生成策略学习
13
多任务与泛化
多任务学习 · 跨场景泛化 · 零样本与少样本能力
多任务泛化
14
具身智能与VLA
VLA在机器人操作 · 导航 · 抓取等具身任务中的应用
VLA具身智能
15
实时推理与部署
模型压缩 · 量化 · 推理加速
实时推理部署
16
评估与基准
VLA模型的评估指标 · 基准测试（如CALVIN · Meta-World）与结果分析
评估基准
17
案例实战
基于RT-1的简单抓取任务实现 · 从数据收集到模型训练
案例实战RT-1
18
案例实战
使用CLIP+Transformer…
案例实战CLIP+Transfo…
19
案例实战
在仿真环境中训练VLA策略并迁移到真…
案例实战VLA
20
常见问题与调试
训练不稳定 · 模态对齐失败 · 数据不平衡等问题的诊断与解决
常见问题调试
21
多模态融合的进阶技巧
门控融合 · 动态融合 · 不确定性建模
多模态融合的进阶…门控融合
22
VLA与强化学习结合
利用RL优化动作策略 · 奖励设计 · PPO等算法集成
VLA强化学习结合
23
VLA与扩散模型
扩散策略（Diffusion Pol…
VLA扩散模型
24
VLA与世界模型
学习环境动态 · 预测未来状态 · 提升决策能力
VLA世界模型
25
VLA的安全性与鲁棒性
对抗攻击 · 分布外泛化 · 安全约束与伦理
VLA的安全性
26
前沿研究方向
多模态大模型 · 统一模型 · 跨具身迁移
前沿研究方向多模态大模型
27
工具与框架
PyTorch · HuggingFace · RoboSuite
工具框架
28
综合项目
设计一个完整的VLA系统 · 从任务定义 · 数据采集
综合项目VLA
29
课程总结
核心知识回顾 · 常见误区 · 学习资源推荐与进阶路线
课程总结核心知识回顾
30
综合提升
基于VLA的开放世界任务 · 结合最新进行创新实践与讨论
综合提升VLA