3. 视觉基础
视觉系统是机械臂抓取系统的“眼睛”，其核心任务是将物理世界中的三维物体信息转化为计算机可处理的数字信号，并进一步提取出可用于定位、识别与抓取规划的特征。本章内容聚焦于视觉系统的四大基础模块：相机成像的物理与数学模型、镜头与光源的选型逻辑、2D与3D视觉传感器的技术对比，以及视觉系统标定的核心方法。理解这些基础原理，是后续进行手眼标定、抓取位姿解算和深度学习模型部署的前提。在机械臂视觉引导场景中，任何一个环节的选型或参数设置失误，都可能导致抓取精度下降甚至系统失效，因此本章内容强调“原理驱动选型，数据支撑决策”。
3.1 相机成像原理：从光线到像素的数学映射
相机成像的本质是将三维空间中的点通过光学系统投影到二维图像平面上。机械臂视觉引导中，我们最关心的是如何从图像坐标反推空间坐标，因此必须透彻理解成像的几何模型。最基本的模型是针孔成像模型，它假设光线沿直线传播，穿过光心后在感光元件上形成倒像。实际镜头由多组透镜组成，会产生畸变，因此需要在针孔模型基础上引入畸变校正。
Z * [u, v, 1]^T = K * [R | t] * [X, Y, Z, 1]^T在实际工程中，镜头畸变是影响抓取精度的主要误差源。径向畸变（桶形/枕形）和切向畸变（透镜与感光元件不平行）都需要通过标定获得畸变系数（k1, k2, p1, p2, k3）进行校正。对于机械臂抓取场景，如果畸变未校正，图像边缘的定位误差可能达到数毫米甚至更多，直接导致抓取失败。
| 成像参数 | 物理意义 | 对抓取的影响 |
|---|---|---|
| 焦距 f | 镜头光学中心到感光元件的距离 | 决定视场角大小，影响视野范围与分辨率 |
| 视场角 FOV | 相机可观察到的场景范围 | FOV过小可能无法覆盖整个抓取区域 |
| 景深 DOF | 清晰成像的物距范围 | 抓取高度变化大时需保证足够景深 |
| 像元尺寸 | 单个像素的物理尺寸 | 决定物理分辨率，像元越小精度越高 |
3.2 镜头与光源选型：决定图像质量的“输入条件”
镜头和光源是视觉系统中最容易被低估的环节。很多项目在算法调试阶段才发现图像质量不达标，根源往往在于镜头焦距选择不当或光源照明不均匀。镜头选型的核心参数包括焦距、光圈、接口类型（C/CS口）、畸变率和分辨率匹配。焦距计算公式为：f = 工作距离 × 传感器靶面尺寸 / 视野宽度。例如，使用1/1.8英寸传感器（靶面宽7.2mm），要求在500mm工作距离下覆盖200mm视野，则所需焦距约为18mm。
光源选型则需要根据物体表面特性（反光/吸光/透明）、颜色和所需特征来决定。常见光源包括环形光（突出边缘）、条形光（均匀照明）、同轴光（消除反光）和背光（提取轮廓）。对于金属反光零件，推荐使用低角度环形光或同轴光；对于深色塑料件，则需使用高亮度白色或蓝色光。光源颜色选择遵循“互补色增强对比”原则：红色物体用蓝色光照射会变暗，用红色光照射会变亮。
3.3 2D与3D视觉传感器对比：按需选择而非盲目追求3D
2D视觉和3D视觉并非替代关系，而是互补关系。2D视觉系统（如工业相机+镜头）输出灰度或彩色图像，通过算法提取边缘、角点、纹理等特征，适用于物体平面定位、二维码识别、有无检测等场景。其优势在于成本低（一套2D系统约5000-20000元）、帧率高（可达100fps以上）、算法成熟且算力要求低。但2D视觉无法获取深度信息，当物体堆叠、倾斜或高度变化时，定位精度会显著下降。
3D视觉传感器主要分为三类：结构光（投射编码图案，通过畸变计算深度）、ToF（飞行时间法，直接测量光脉冲往返时间）和双目立体视觉（通过两个相机视差计算深度）。三者的性能对比如下：
| 类型 | 测量范围 | 精度 | 帧率 | 成本 | 适用场景 |
|---|---|---|---|---|---|
| 结构光 | 0.3-3m | ±0.1-0.5mm | 5-30fps | 中高 | 精密抓取、零件定位 |
| ToF | 0.5-8m | ±1-5mm | 30-60fps | 中 | 大范围、快速抓取 |
| 双目 | 0.2-5m | ±0.5-2mm | 10-50fps | 低中 | 室内环境、纹理丰富物体 |
在机械臂抓取选型时，需综合考虑抓取精度要求、工作距离、物体材质和预算。例如，对于汽车零部件（金属反光、形状复杂），推荐使用结构光3D相机；对于物流包裹（纸箱、塑料膜），ToF相机性价比更高；对于PCB板等平面物体，2D视觉加高度传感器即可满足需求。
3.4 标定基础：连接图像坐标与机器人坐标的桥梁
标定是视觉引导抓取中最关键的一步，其目的是建立图像像素坐标与机器人基座坐标之间的精确映射关系。标定分为两部分：相机内参标定和手眼标定。内参标定使用棋盘格或圆点标定板，通过拍摄不同位姿的标定板图像，利用张正友标定法求解内参矩阵和畸变系数。手眼标定则解决相机坐标系与机器人坐标系之间的变换关系，分为“眼在手上”（相机安装在机械臂末端）和“眼在手外”（相机固定安装）两种模式。
手眼标定的数学基础是求解AX=XB方程，其中A为机器人末端位姿变换矩阵，B为相机观测到的标定板位姿变换矩阵，X为待求的手眼变换矩阵。实际操作中，需要控制机械臂运动到多个不同位姿，每个位姿下同时记录机器人末端坐标和相机观测到的标定板位姿，至少采集15-20组数据才能获得稳定解。
- 固定相机，确保视野覆盖抓取区域，安装标定板于机械臂末端
- 控制机械臂运动到9-15个不同位置（包含平移和旋转变化）
- 每个位置记录：机器人末端位姿（从控制器读取）+ 标定板在相机坐标系下的位姿（通过图像处理获得）
- 使用Tsai-Lenz或Park-Martin算法求解手眼矩阵
- 验证：将标定板放在抓取区域任意位置，计算视觉定位坐标与机器人实际抓取坐标的偏差
标定精度受多种因素影响：标定板平面度、图像角点提取精度、机械臂定位精度、光照变化等。为提高鲁棒性，建议使用陶瓷或玻璃基材的高精度标定板，并在标定过程中保持环境光照稳定。此外，定期（如每季度或设备移动后）重新标定是必要的，因为机械臂长期运行后关节间隙变化会影响手眼关系。