VIP7
本课程属于：019-具身智能与VLA机器人 智能机器人、自动化与智能装备工程 · 共 7 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

视觉语言动作模型微调与机器人部署

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=视觉语言动作模型的定义 · 发展历程 · 核心价值与整体课程框架
课程导入目标=视觉语言动…
02
基础知识
目标=机器人学基础 · 视觉感知 · 自然语言处理与动作生成的基本概念与术…
基础知识目标=机器人学基…
03
VLA模型架构解析
目标=典型多模态编码器 · 融合机制 · 动作解码器与端到端训练范式
VLA模型架构解析
04
预训练与微调基础
目标=迁移学习 · 领域适应 · 参数高效微调方法（LoRA
预训练微调基础
05
数据收集与标注
目标=机器人演示数据 · 语言指令配对 · 视觉观测对齐与数据增强策略
数据收集标注
06
仿真环境搭建
目标=常用机器人仿真平台（Isaac… · MuJoCo · PyBullet）与任务设计
仿真环境搭建Isaac
07
微调流程实战
目标=从预训练模型到特定任务微调的全…
微调流程实战目标=从预训练模…
08
视觉编码器微调
目标=针对机器人场景的视觉特征提取 · 注意力机制与多视角融合
视觉编码器微调目标=针对机器人…
09
语言指令理解与 grounding
目标=指令解析 · 目标指代 · 空间关系与语义对齐方法
grounding语言指令理解
10
动作表示与生成
目标=离散动作 · 连续动作 · 轨迹预测与扩散策略在VLA中的应用
动作表示生成
11
多模态融合策略
目标=早期融合 · 晚期融合 · 交叉注意力与对比学习在VLA中的实践
多模态融合策略目标=早期融合
12
训练技巧与优化
目标=损失函数设计 · 课程学习 · 强化学习微调与模仿学习结合
训练技巧优化
13
评估指标与基准
目标=成功率 · 泛化能力 · 鲁棒性测试与常用VLA评测数据集
评估指标基准
14
仿真到现实迁移
目标=域随机化 · 系统辨识 · Sim2Real差距分析与解决方案
仿真到现实迁移目标=域随机化
15
机器人部署基础
目标=硬件选型 · 实时推理框架 · ROS集成与通信协议
机器人部署基础目标=硬件选型
16
模型压缩与加速
目标=量化 · 剪枝 · 知识蒸馏与边缘设备部署优化
模型压缩加速
17
实时推理与控制
目标=推理延迟优化 · 动作平滑 · 安全约束与闭环控制策略
实时推理控制
18
案例实战一
目标=桌面抓取任务——从数据采集到V…
案例实战一目标=桌面抓取任…
19
案例实战二
目标=移动操作任务——导航与抓取结合…
案例实战二目标=移动操作任…
20
案例实战三
目标=多任务泛化——基于语言指令切换…
案例实战三目标=多任务泛化
21
常见问题与调试
目标=过拟合 · 灾难性遗忘 · 动作抖动
常见问题调试
22
安全与伦理
目标=机器人部署中的安全标准 · 隐私保护与负责任AI实践
安全伦理
23
人机交互与协作
目标=自然语言交互 · 意图理解与自适应行为生成
人机交互协作
24
持续学习与在线适应
目标=部署后模型更新 · 增量学习与用户反馈闭环
持续学习线适应
25
多机器人协同
目标=分布式VLA模型 · 通信机制与协同任务规划
多机器人协同VLA
26
前沿进展
目标=最新VLA模型（RT-2 · PaLM-E · Octo等）与趋势分析
前沿进展VLA
27
项目实战
目标=完整VLA系统开发——需求分析 · 方案设计 · 实现与测试
项目实战VLA
28
性能调优与基准测试
目标=端到端延迟 · 吞吐量 · 资源占用与优化案例
性能调优基准测试
29
部署运维与监控
目标=日志 · 故障恢复 · 远程更新与长期运行稳定性
部署运维监控
30
课程总结与综合提升
目标=知识体系回顾 · 职业发展路径与进一步学习资源
课程总结综合提升