1. 课程导入
在智能制造、物流分拣、装配检测等场景中，机械臂要完成“看见目标—找到位置—规划路径—精准抓取”的闭环，核心难点并不在于机械臂本身能否运动，而在于它能否把相机图像中的像素位置，准确换算成机械臂末端可以执行的空间坐标。这个换算过程，就是视觉定位与坐标变换。本课程围绕这一主线，帮助学习者建立从相机成像到机械臂执行的完整工程认知。
一、学习目标：从“看得见”到“抓得准”
本课程的学习目标可以概括为四个层次。第一，理解视觉定位的基本原理，包括相机模型、像素坐标、图像坐标、相机坐标、世界坐标与工具坐标之间的关系。第二，掌握坐标变换的数学工具，能够使用齐次变换矩阵描述平移与旋转，并完成手眼标定中的坐标映射。第三，具备工程实现能力，能够根据相机安装方式选择 Eye-to-Hand 或 Eye-in-Hand 方案，完成标定、验证与误差分析。第四，形成系统思维，能够把视觉模块、机械臂控制模块、通信模块和任务调度模块整合为可运行的定位抓取系统。
核心能力链：图像采集 → 目标检测 → 像素定位 → 坐标变换 → 手眼标定 → 抓取位姿生成 → 机械臂执行 → 精度验证。
二、核心概念：像素、坐标系与变换矩阵
视觉定位的第一组核心概念是坐标系。相机拍摄到的目标位置通常以像素表示，例如目标中心位于图像第 320 列、第 240 行。但机械臂并不认识“像素”，它需要的是以毫米或米为单位的空间坐标。因此，必须建立像素坐标到空间坐标的映射关系。常见坐标系包括：像素坐标系、图像坐标系、相机坐标系、机械臂基坐标系、末端工具坐标系以及标定板坐标系。
第二组核心概念是内参与外参。相机内参描述焦距、主点、畸变等成像特性，决定像素与相机坐标之间的关系；外参描述相机相对于机械臂基座或末端的位置与姿态。手眼标定的本质，就是求解相机坐标系与机械臂坐标系之间的外参变换。
第三组核心概念是齐次变换矩阵。一个典型变换可写为：
T = [ R t ]
[ 0 1 ]
其中：
R：3×3 旋转矩阵
t：3×1 平移向量
T：4×4 齐次变换矩阵通过矩阵连乘，可以把目标点在相机坐标系中的位置，依次变换到机械臂基坐标系，再结合抓取姿态生成末端执行器的目标位姿。
三、整体框架：从视觉到执行的系统链路
本课程的整体框架按照“感知—标定—变换—执行—验证”展开。感知层负责图像采集与目标识别；标定层负责相机参数与手眼关系求解；变换层负责坐标映射与位姿计算；执行层负责轨迹规划与抓取控制；验证层负责精度评估与误差补偿。下图展示了这一系统链路的核心结构。
四、典型应用场景与工程价值
视觉定位与坐标变换在工业现场有大量落地场景。在无序分拣中，相机拍摄料框内随机堆叠的工件，系统识别每个工件的位置与姿态，再引导机械臂逐个抓取。在装配对位中，视觉系统测量轴孔之间的偏差，机械臂根据偏差进行微调插入。在码垛与拆垛中，系统需要把托盘上的箱体位置转换到机械臂基坐标系，并规划避障路径。在视觉引导焊接中，焊缝位置由相机提取，机械臂沿焊缝轨迹运动。这些场景的共同点是：视觉提供目标信息，坐标变换提供空间桥梁，机械臂提供执行能力。
| 应用场景 | 视觉任务 | 关键坐标变换 | 典型精度要求 |
|---|---|---|---|
| 无序分拣 | 目标检测与位姿估计 | 相机→基座→抓取点 | ±1～3 mm |
| 装配对位 | 轴孔中心与角度测量 | 相机→末端→工件 | ±0.05～0.2 mm |
| 码垛拆垛 | 箱体识别与定位 | 相机→基座→托盘 | ±2～5 mm |
| 视觉焊接 | 焊缝提取与跟踪 | 相机→工具→焊缝 | ±0.2～0.5 mm |
五、常见误区与学习建议
误区一：认为标定一次即可永久使用。实际上，相机松动、镜头更换、机械臂碰撞、温度变化都会导致外参漂移，需要定期复标。
误区二：只关注像素精度，忽略坐标变换误差。像素误差 1 个像素，在远距离工作空间中可能放大为几毫米甚至十几毫米。
误区三：把 Eye-to-Hand 与 Eye-in-Hand 混用同一套标定流程。两者求解方程和标定步骤不同，必须区分。
学习建议：先建立坐标系意识，再动手推导一次齐次变换；随后在仿真环境中完成一次手眼标定；最后在真实机械臂上验证抓取精度。每学完一个模块，都要回到“像素如何变成机械臂坐标”这条主线上。
本课程后续将围绕相机模型、标定方法、坐标变换、手眼标定、视觉伺服、误差补偿和工程集成逐步展开。第1章的任务，是让学习者先看清全局：视觉定位不是单一算法，而是一条从图像到动作的完整工程链路；坐标变换不是抽象数学，而是决定机械臂能否抓准的关键桥梁。