1. 课程导入
双臂视觉抓取与交接操作，是指两台或多台机械臂在视觉感知的引导下，协同完成目标物体的识别、定位、抓取、搬运与臂间传递的一类机器人操作技术。它并不是“单臂抓取”的简单叠加，而是把视觉感知、运动规划、力/位混合控制、任务调度与臂间协调统一在一个闭环系统中。其核心难点在于：当物体从一条臂交到另一条臂时，抓取权、受力状态与位姿约束会同时发生切换，任何时刻的感知误差或时序错位都可能导致掉落、碰撞或任务失败。
1.1 核心原理：为什么需要“双臂+视觉+交接”
单臂抓取通常假设物体可被一次抓取并直接放置到目标位置。但在真实场景中，物体可能过长、过重、易变形，或目标位置被遮挡，单臂难以独立完成。双臂交接的本质是把一次复杂操作拆分为多个可管理的子任务：一条臂负责“取”，另一条臂负责“接”，中间通过视觉与力觉反馈保证交接点的一致性。
从系统角度看，双臂视觉交接包含四个关键环节：
- 视觉感知：相机标定、目标检测、6D位姿估计、手眼坐标变换。
- 抓取规划：抓取点选择、抓取姿态生成、可达性与碰撞检测。
- 运动与力控：轨迹插补、阻抗/导纳控制、抓取力与接触力调节。
- 交接协调：双臂相对位姿约束、交接时序、抓取权切换与异常恢复。
其中，交接阶段最容易被低估。它要求两条臂在空间上保持严格的相对关系，同时允许一定的柔顺性以吸收误差。工程上常用“主从式”或“对等式”协调策略：主臂保持物体位姿，从臂跟踪并闭合夹爪，随后主臂释放，从臂接管。整个过程需要在毫秒级时间尺度上完成状态同步。
1.2 发展历程：从示教到感知驱动
双臂操作的发展大致经历了三个阶段。早期以示教再现为主，机械臂按固定轨迹运动，视觉仅用于简单的存在性检测；随后进入视觉伺服阶段，相机实时反馈物体位置，机械臂可适应一定范围内的位姿变化；近年来，随着深度学习与实时优化的发展，系统开始具备语义理解与自主决策能力，能够处理未知物体、动态场景与多步交接任务。
| 阶段 | 感知方式 | 控制特点 | 典型能力 |
|---|---|---|---|
| 示教再现 | 固定相机/限位开关 | 位置控制、轨迹复现 | 重复抓放，环境固定 |
| 视觉伺服 | 2D/3D相机、手眼标定 | 视觉反馈+位置/速度控制 | 适应位姿变化，简单交接 |
| 感知驱动 | RGB-D、点云、深度学习 | 力/位混合、在线重规划 | 未知物体、动态交接、自主纠错 |
1.3 典型应用场景
双臂视觉交接的价值在“单臂难以独立完成”或“需要更高柔性”的场景中尤为突出。常见应用包括：
- 工业装配：一条臂固定工件，另一条臂完成插装、拧紧或线束整理。
- 物流分拣：双臂协同处理大尺寸包裹，或一条臂取件、另一条臂贴标。
- 医疗与实验室：试管、培养皿等易碎物品的传递与放置。
- 家庭服务：端盘、递物、开柜等需要双手配合的日常操作。
- 危险环境作业：核辐射、深海或高空场景中的工具传递与样本回收。
1.4 整体学习路线与工程误区
本课程后续将沿着“基础建模—视觉感知—抓取规划—双臂协调—交接控制—系统集成”的路线展开。建议学习时始终围绕一条真实任务链：从相机标定开始，到最终完成一次稳定的臂间交接，并在每个环节记录误差来源。
学习路线（建议顺序）：
1. 机器人运动学与手眼标定
2. 视觉检测与6D位姿估计
3. 抓取点生成与碰撞检测
4. 双臂协调运动规划
5. 力/位混合控制与柔顺交接
6. 状态机与异常恢复
7. 系统集成与性能评估
初学者常见的误区有三个：一是只关注抓取成功，忽略交接过程，导致物体在换手瞬间掉落；二是过度依赖视觉精度，没有为力控和柔顺留出余量；三是把双臂当作两个独立单臂，缺少统一的时钟、坐标系与状态机。复盘时应重点检查：标定误差是否收敛、交接点是否一致、抓取力是否在安全区间、异常恢复是否可重入。
把这张图当作本课程的“地图”：左侧是感知输入，中间是规划与决策，右侧是执行与交接，下方是闭环验证。后续每一章都会放大其中一个模块，但始终不要忘记它们之间的连接关系。只有把单点技术放回整条链路中，双臂视觉交接才能真正稳定落地。