1. 课程导入
在智能制造、仓储物流和服务机器人领域，让机械臂“看见”并“抓准”物体，是自动化系统从固定编程走向柔性作业的关键一步。深度相机提供了场景的三维几何信息，而机器人抓取与标定则决定了这些信息能否被准确转化为机械臂的运动指令。本课程围绕“看得见、算得准、抓得稳”这条主线，系统讲解深度相机与机器人协同工作的核心原理与工程方法。
一、学习目标
完成本课程后，学习者应能够独立完成从深度相机选型、手眼标定、点云处理到抓取位姿生成与执行验证的完整链路。具体目标包括：
- 理解深度相机成像原理，掌握结构光、ToF、双目立体视觉等主流方案的差异与适用边界。
- 掌握相机内参、外参、畸变模型以及手眼标定（Eye-in-Hand / Eye-to-Hand）的数学关系与求解流程。
- 能够使用点云滤波、分割、配准和位姿估计方法，从深度数据中提取可抓取目标。
- 理解抓取位姿表示、抓取质量评价与碰撞检测的基本方法，并能与 ROS/ROS2 或工业机器人控制器对接。
- 具备标定误差分析与抓取失败复盘能力，能够定位问题来自标定、感知还是执行环节。
二、核心概念
本课程涉及的核心概念可以归纳为“三个空间”和“两条链路”。三个空间分别是：像素空间（图像坐标）、相机空间（三维点云坐标）和机器人空间（基坐标系下的位姿）。两条链路分别是感知链路（深度图→点云→目标位姿）和执行链路（目标位姿→抓取规划→机械臂运动）。标定正是连接三个空间、打通两条链路的桥梁。
关键关系：像素坐标 + 深度值 + 相机内参 → 相机坐标系下的三维点；相机坐标系下的点 + 手眼外参 → 机器人基坐标系下的点；机器人基坐标系下的目标位姿 + 抓取策略 → 可执行的抓取指令。
其中，手眼标定求解的是相机坐标系与机器人末端（或基座）之间的刚体变换矩阵，通常用旋转矩阵 R 和平移向量 t 表示。标定精度直接决定了“看到的位置”与“抓到的位置”是否一致。
三、整体框架
课程整体按照“感知—标定—抓取—验证”的工程闭环组织，下图展示了各模块之间的数据流与依赖关系。
四、典型应用场景
深度相机机器人抓取与标定技术已广泛应用于多个行业，不同场景对精度、速度和环境适应性的要求差异明显。
| 应用场景 | 典型任务 | 相机安装方式 | 关键挑战 |
|---|---|---|---|
| 工业分拣 | 散乱零件抓取、上下料 | Eye-to-Hand 固定安装 | 反光金属表面、节拍要求高 |
| 仓储物流 | 纸箱/包裹拆码垛 | Eye-in-Hand 或龙门架 | 物体尺寸差异大、堆叠遮挡 |
| 服务机器人 | 桌面物品抓取、递送 | Eye-in-Hand 腕部安装 | 动态环境、人机安全 |
| 农业采摘 | 果实识别与采摘 | Eye-to-Hand 或移动平台 | 光照变化、枝叶遮挡 |
| 医疗辅助 | 器械传递、样本搬运 | Eye-to-Hand 高精度 | 无菌环境、亚毫米精度 |
五、常见误区与复盘要点
误区一：只做一次标定就长期使用。机械臂关节磨损、相机松动、温度变化都会导致外参漂移，建议定期复标或引入在线自校正。
误区二：忽视深度相机与 RGB 相机的对齐。若彩色图与深度图未对齐，基于 RGB 检测的目标框无法直接映射到三维点，抓取位姿会出现系统性偏移。
误区三：把标定误差和感知误差混为一谈。抓取失败时，应先通过固定标定板验证标定残差，再检查点云质量和抓取规划，避免盲目调参。
复盘建议：建立“标定—感知—规划—执行”四段式日志，记录每次抓取的目标位姿、实际位姿和误差向量。当误差呈现固定方向偏移时，优先怀疑手眼外参；当误差随机分布时，优先检查深度噪声和分割稳定性。
六、环境与工具准备
课程后续实操将基于以下典型环境展开，建议提前熟悉相关工具链：
# 典型软件环境
Ubuntu 22.04 + ROS 2 Humble
OpenCV 4.x # 相机标定、图像处理
PCL 1.12 # 点云滤波、配准、分割
MoveIt 2 # 机械臂运动规划
EasyHandEye / cv::calibrateHandEye # 手眼标定
# 典型硬件
深度相机：Intel RealSense D435i / 奥比中光 Astra Pro
机械臂：UR5e / 遨博 AUBO i5 / 节卡 JAKA Zu 7
标定板：Charuco 板或棋盘格标定板