1. 课程导论
1.1 什么是 Eye-to-Hand 标定?
在机器人视觉系统中,Eye-to-Hand(眼在手外) 是一种将相机固定安装在机器人工作空间上方或侧方的配置方式。相机不随机器人末端移动,而是从全局视角观察机器人及目标物体。标定的核心目标是求解 相机坐标系 与 机器人基坐标系 之间的刚性变换矩阵(旋转矩阵 R 与平移向量 t),使得视觉系统感知到的物体位姿能够被机器人准确抓取或操作。
核心公式: 设相机坐标系下目标点坐标为 Pc,机器人基坐标系下对应坐标为 Pb,则标定求解的变换矩阵 bTc 满足:
Pb = bTc · Pc
1.2 什么是点云配准?
点云配准 是将不同视角、不同时间或不同传感器获取的多个点云数据集,通过几何变换对齐到同一坐标系下的过程。其数学本质是寻找最优的旋转与平移参数,使源点云与目标点云之间的对应点距离最小化。最经典的算法是 ICP(Iterative Closest Point,迭代最近点) 及其变体。
| 对比维度 | Eye-to-Hand 标定 | 点云配准 |
|---|---|---|
| 输入 | 机器人位姿 + 标定板图像/点云 | 两组或多组点云数据 |
| 输出 | 相机与机器人基系的变换矩阵 | 源点云到目标点云的变换矩阵 |
| 应用场景 | 视觉引导抓取、装配 | 3D 重建、SLAM、逆向工程 |
| 核心算法 | Tsai-Lenz、Park-Martin | ICP、NDT、Go-ICP |
1.3 典型应用场景
- 工业抓取与码垛: 机器人从传送带或料箱中抓取工件,需要 Eye-to-Hand 标定将相机检测到的工件位姿映射到机器人坐标系,再结合点云配准实现精确抓取。
- 3D 重建与逆向工程: 多视角点云通过配准融合为完整模型,用于质量检测、文物数字化或产品设计。
- SLAM 与自主导航: 移动机器人利用点云配准实现环境建图与定位,Eye-to-Hand 标定则用于固定基站的视觉引导。
- 装配与焊接: 视觉系统引导机器人完成精密装配,标定精度直接影响装配成功率。
1.4 课程目标
完成本课程后,学员将能够:
- 理解原理: 掌握 Eye-to-Hand 标定与点云配准的数学模型与核心算法。
- 动手实现: 使用 Python 和 Open3D/PCL 库完成标定与配准的代码编写与调试。
- 解决实际问题: 针对工业抓取和 3D 重建场景,设计并部署完整的视觉引导方案。
- 评估与优化: 分析标定与配准误差来源,掌握精度提升方法。
1.5 前置知识要求
| 知识领域 | 具体要求 |
|---|---|
| 线性代数 | 矩阵乘法、旋转矩阵、齐次坐标、最小二乘 |
| 机器人学基础 | 机器人运动学、坐标系变换、DH 参数 |
| 计算机视觉 | 相机模型、内参外参、特征提取 |
| 编程能力 | Python 基础、NumPy、Open3D 或 PCL 基本使用 |
学习建议: 如果对上述前置知识不够熟悉,建议先复习线性代数中的刚体变换和机器人学中的坐标系概念。本课程会提供必要的数学推导,但不会从头讲解基础理论。
1.6 课程内容概览
本课程共 30 章,分为四个模块:
- 基础篇(第 1-8 章): 坐标系变换、相机模型、标定板设计、点云数据结构与可视化。
- 标定篇(第 9-16 章): Tsai-Lenz 算法、Park-Martin 算法、非线性优化标定、标定精度评估。
- 配准篇(第 17-24 章): ICP 算法原理与变体、NDT 配准、特征点配准、多视角融合。
- 实战篇(第 25-30 章): 工业抓取完整流程、3D 重建管线、标定与配准联合调试、项目部署。
注意事项: 本课程所有代码均基于 Python 3.8+ 和 Open3D 0.15+ 版本。请确保在课程开始前配置好开发环境,避免版本兼容问题。