1. 课程导入

移动机械臂视觉抓取系统，是把“能移动的底盘”“能操作的机械臂”“能感知的视觉传感器”和“能决策的控制算法”集成在一起，使机器人能够在非结构化或半结构化环境中完成“走到目标附近—识别目标—规划抓取—执行搬运”的完整任务链。它不同于固定工位上的机械臂：固定机械臂的基座坐标不变，抓取主要解决“手眼关系”和“目标位姿估计”；移动机械臂还要同时解决“我在哪里”“目标在哪里”“我如何到达可抓取位姿”“抓取后如何稳定放置”等问题。因此，它本质上是移动机器人导航、机械臂运动学与动力学、视觉感知、抓取规划、系统集成与工程调试的交叉系统。

1.1 系统定义与核心组成

从工程视角看，移动机械臂视觉抓取系统可以拆成五个核心子系统：移动底盘负责全局与局部移动；机械臂与末端执行器负责操作；视觉感知负责目标检测、位姿估计与场景理解；计算与通信负责算法运行、数据交换和实时控制；任务与调度负责把“抓取任务”分解为导航、对准、抓取、放置等阶段。它们之间不是简单串联，而是通过坐标变换、时间同步和状态反馈形成闭环。

其中最关键的是坐标链：世界坐标系→地图坐标系→底盘坐标系→机械臂基座坐标系→末端坐标系→相机坐标系→目标坐标系。任何一环标定不准，都会在抓取时表现为“看到了但抓不准”。因此，视觉抓取不是单一算法问题，而是“感知—标定—规划—控制—执行”的系统问题。

1.2 典型应用场景

移动机械臂视觉抓取系统的价值，在于把固定自动化扩展到“目标位置会变、环境会变、任务会变”的场景。典型应用包括：仓储物流中的货架拣选与纸箱搬运；工厂线边物流中的上下料与周转箱抓取；实验室或医院中的样本转运；服务机器人中的桌面整理与物品递送；危险环境中的远程操作与自主取样。不同场景对系统的要求差异很大：仓储更关注节拍与成功率，工厂更关注重复精度与安全，服务场景更关注泛化能力与交互体验。

1.3 学习目标与知识框架

本课程的学习目标不是“会调一个抓取模型”，而是建立完整的系统工程能力。具体包括：第一，理解移动机械臂的系统组成与坐标变换关系，能画出从世界到目标的坐标链；第二，掌握视觉感知的基本流程，包括相机模型、标定、检测、分割与位姿估计；第三，掌握抓取规划与运动规划的基本方法，理解预抓取位姿、抓取位姿和放置位姿的区别；第四，能够把感知、规划和控制集成到 ROS 2 系统中，完成一个可复现的抓取任务；第五，具备排障与复盘能力，能定位“抓不到”是标定、感知、规划还是控制问题。

1.4 方法流程：从任务到抓取

一个完整的移动机械臂视觉抓取流程通常包含以下步骤：任务解析、全局导航、局部对准、目标检测与位姿估计、手眼坐标变换、抓取位姿生成、运动规划与碰撞检测、末端执行、抓取校验与放置。每一步都有明确的输入输出，便于工程调试。

任务输入：目标物体类别 / 放置区域 / 约束条件
1. 导航到预抓取位：输入地图与目标区域，输出底盘位姿
2. 视觉观测：输入 RGB-D 图像，输出目标检测框与点云
3. 位姿估计：输入点云与模型，输出目标 6D 位姿
4. 坐标变换：输入 TF 链，输出机械臂基座下的目标位姿
5. 抓取规划：输入目标位姿与夹爪模型，输出抓取位姿
6. 运动规划：输入抓取位姿，输出关节轨迹
7. 执行与校验：输入轨迹，输出抓取结果与状态
8. 放置与复位：输入放置区，输出放置动作与任务完成状态

1.5 常见误区与复盘