1. 课程导论

1.1 什么是 Eye-to-Hand 标定?

在机器人视觉系统中,Eye-to-Hand(眼在手外) 是一种将相机固定安装在机器人工作空间上方或侧方的配置方式。相机不随机器人末端移动,而是从全局视角观察机器人及目标物体。标定的核心目标是求解 相机坐标系 与 机器人基坐标系 之间的刚性变换矩阵(旋转矩阵 R 与平移向量 t),使得视觉系统感知到的物体位姿能够被机器人准确抓取或操作。

核心公式: 设相机坐标系下目标点坐标为 Pc,机器人基坐标系下对应坐标为 Pb,则标定求解的变换矩阵 bTc 满足:
Pb = bTc · Pc

1.2 什么是点云配准?

点云配准 是将不同视角、不同时间或不同传感器获取的多个点云数据集,通过几何变换对齐到同一坐标系下的过程。其数学本质是寻找最优的旋转与平移参数,使源点云与目标点云之间的对应点距离最小化。最经典的算法是 ICP(Iterative Closest Point,迭代最近点) 及其变体。

对比维度 Eye-to-Hand 标定 点云配准
输入 机器人位姿 + 标定板图像/点云 两组或多组点云数据
输出 相机与机器人基系的变换矩阵 源点云到目标点云的变换矩阵
应用场景 视觉引导抓取、装配 3D 重建、SLAM、逆向工程
核心算法 Tsai-Lenz、Park-Martin ICP、NDT、Go-ICP
Eye-to-Hand 标定与点云配准系统架构 Eye-to-Hand 标定与点云配准系统架构 硬件层 固定相机 机器人本体 标定板/工件 3D 传感器 算法层 Tsai-Lenz 标定 ICP 点云配准 手眼标定求解 应用层 工业抓取与码垛 3D 重建与测量 SLAM 导航

1.3 典型应用场景

  • 工业抓取与码垛: 机器人从传送带或料箱中抓取工件,需要 Eye-to-Hand 标定将相机检测到的工件位姿映射到机器人坐标系,再结合点云配准实现精确抓取。
  • 3D 重建与逆向工程: 多视角点云通过配准融合为完整模型,用于质量检测、文物数字化或产品设计。
  • SLAM 与自主导航: 移动机器人利用点云配准实现环境建图与定位,Eye-to-Hand 标定则用于固定基站的视觉引导。
  • 装配与焊接: 视觉系统引导机器人完成精密装配,标定精度直接影响装配成功率。

1.4 课程目标

完成本课程后,学员将能够:

  1. 理解原理: 掌握 Eye-to-Hand 标定与点云配准的数学模型与核心算法。
  2. 动手实现: 使用 Python 和 Open3D/PCL 库完成标定与配准的代码编写与调试。
  3. 解决实际问题: 针对工业抓取和 3D 重建场景,设计并部署完整的视觉引导方案。
  4. 评估与优化: 分析标定与配准误差来源,掌握精度提升方法。

1.5 前置知识要求

知识领域 具体要求
线性代数 矩阵乘法、旋转矩阵、齐次坐标、最小二乘
机器人学基础 机器人运动学、坐标系变换、DH 参数
计算机视觉 相机模型、内参外参、特征提取
编程能力 Python 基础、NumPy、Open3D 或 PCL 基本使用
学习建议: 如果对上述前置知识不够熟悉,建议先复习线性代数中的刚体变换和机器人学中的坐标系概念。本课程会提供必要的数学推导,但不会从头讲解基础理论。
Eye-to-Hand 标定与点云配准数据流 Eye-to-Hand 标定与点云配准数据流 原始点云/图像 预处理与滤波 特征提取/匹配 变换求解 标定板检测 机器人位姿记录 标定方程构建 输出:变换矩阵

1.6 课程内容概览

本课程共 30 章,分为四个模块:

  • 基础篇(第 1-8 章): 坐标系变换、相机模型、标定板设计、点云数据结构与可视化。
  • 标定篇(第 9-16 章): Tsai-Lenz 算法、Park-Martin 算法、非线性优化标定、标定精度评估。
  • 配准篇(第 17-24 章): ICP 算法原理与变体、NDT 配准、特征点配准、多视角融合。
  • 实战篇(第 25-30 章): 工业抓取完整流程、3D 重建管线、标定与配准联合调试、项目部署。
注意事项: 本课程所有代码均基于 Python 3.8+ 和 Open3D 0.15+ 版本。请确保在课程开始前配置好开发环境,避免版本兼容问题。