4、视觉传感器与选型：工业相机、镜头、光源、3D传感器（结构光、ToF、激光）的选型与标定
视觉传感器是机器视觉系统的“眼睛”，其选型与标定质量直接决定了机器人抓取系统的精度上限、鲁棒性和部署成本。在工业现场，一个看似简单的“看到并抓取”动作，背后涉及光学成像、光电转换、数字信号处理、三维点云重建与坐标变换等多个环节。本章将围绕工业相机、镜头、光源和三类主流3D传感器（结构光、ToF、激光）展开系统讲解，并给出从需求分析到标定验收的完整工程路径。
4.1 工业相机选型：从成像芯片到接口协议
核心原理：工业相机的本质是将光信号转换为电信号并数字化输出。选型时需关注四个维度：传感器类型（CCD/CMOS）、快门方式（全局/卷帘）、分辨率与帧率、数据接口（GigE/USB3.0/Camera Link/CoaXPress）。对于机器人抓取场景，全局快门CMOS是首选，因为运动中的工件不会产生“果冻效应”畸变；而CCD虽然噪声低，但帧率普遍偏低且成本高，已逐渐被高性能CMOS替代。
判断方法：首先根据抓取节拍确定最小帧率。例如，机器人节拍为2秒/次，则相机帧率至少需要15fps（含图像处理时间余量）。其次根据视野（FOV）和最小特征尺寸计算分辨率：若视野为300mm×200mm，需识别0.5mm的缺陷，则单方向像素数至少为300/0.5=600，考虑边缘冗余，建议选用1280×1024或更高。接口选择上，GigE适合5-10米长距离传输，USB3.0适合短距离高速率，CoaXPress适合多相机高速应用。
| 参数 | 抓取场景推荐值 | 说明 |
|---|---|---|
| 传感器类型 | 全局快门CMOS | 避免运动畸变，性价比高 |
| 分辨率 | 200万-1200万像素 | 根据FOV和精度要求计算 |
| 帧率 | ≥30fps | 配合机器人节拍，留处理余量 |
| 接口 | GigE / USB3.0 | GigE抗干扰强，USB3.0延迟低 |
| 触发方式 | 硬件触发（光耦隔离） | 与PLC/机器人IO同步 |
4.2 镜头选型：焦距、畸变与工作距离的平衡
核心原理：镜头决定成像的清晰度、视场角和畸变水平。关键参数包括焦距（f）、光圈（F）、工作距离（WD）、景深（DOF）和畸变率。对于机器人抓取，低畸变镜头至关重要，因为畸变会直接影响像素坐标到实际坐标的映射精度。普通CCTV镜头畸变通常在1%-3%，而工业FA镜头可控制在0.1%以下，远心镜头则几乎为零畸变。
操作流程：选型时先确定工作距离（通常由机器人安装空间决定），再根据公式计算焦距：f = (WD × 传感器尺寸) / FOV。例如，使用2/3英寸传感器（宽8.8mm），WD=500mm，FOV=200mm，则f = (500×8.8)/200 = 22mm，可选用25mm定焦镜头。光圈方面，抓取场景建议F4-F8，兼顾进光量与景深。若工件高度差超过±50mm，需计算景深是否覆盖。
背景：3C产线需抓取高度为3mm的芯片，来料在传送带上存在±2mm的高度波动。
初始方案：使用8mm焦距镜头，WD=300mm，光圈F2.8。结果：芯片边缘模糊，定位误差±0.8mm。
分析：F2.8光圈导致景深仅±1.5mm，无法覆盖高度波动。
调整：改用12mm焦距，光圈缩至F5.6，景深扩展至±4mm，同时增加环形光源亮度补偿。结果：定位误差降至±0.15mm，抓取成功率从92%提升至99.7%。
复盘：镜头选型不能只看焦距，必须将景深、光圈、工作距离三者联合计算。
4.3 光源选型：对比度与稳定性的保障
核心原理：光源是视觉系统中“最便宜但最影响效果”的环节。其核心目标是增强目标与背景的对比度，同时抑制环境光干扰。常见光源类型包括：环形光源（突出边缘）、条形光源（大面积均匀照明）、同轴光源（高反射表面）、背光源（轮廓测量）、穹顶光源（球面均匀）。颜色选择上，红色光（630nm）最常用，因为黑白相机对其敏感度高；蓝色光（470nm）适合金属表面；红外光（850nm）可滤除可见光干扰。
判断方法：根据工件表面特性选择：高反光表面（如镜面金属）用同轴光源或低角度环形光；漫反射表面（如塑料、木材）用条形光或穹顶光；透明/半透明物体用背光源。光源角度需通过试验确定，一般从30°-60°入射角开始测试。对于机器人抓取，建议使用频闪控制，通过IO触发点亮10-50μs，可大幅降低环境光影响并延长光源寿命。
4.4 3D传感器选型：结构光、ToF与激光的对比
核心原理：3D传感器用于获取物体的三维点云数据，是机器人实现无序抓取、堆叠拆垛的关键。三种主流技术各有优劣：结构光通过投射编码图案（如格雷码、相移条纹）并解码形变来重建三维，精度可达0.01-0.1mm，但易受环境光干扰；ToF（飞行时间）通过测量光脉冲往返时间计算距离，帧率高（可达30fps以上），但分辨率低（通常VGA级），精度约1-5mm；激光三角法利用激光线扫描物体表面，精度极高（0.001-0.01mm），但扫描速度慢，适合静态或慢速场景。
| 维度 | 结构光 | ToF | 激光三角 |
|---|---|---|---|
| 精度 | 0.01-0.1mm | 1-5mm | 0.001-0.01mm |
| 帧率/速度 | 1-10fps | 30-60fps | 0.1-1fps（扫描） |
| 工作距离 | 0.1-3m | 0.1-10m | 0.01-1m |
| 环境光敏感度 | 高 | 中 | 低 |
| 典型应用 | 零件定位、尺寸测量 | AGV避障、大范围抓取 | 精密测量、焊缝跟踪 |
| 成本 | 中 | 低-中 | 高 |
选型决策流程：首先明确抓取精度要求（如±1mm），若结构光可满足则优先选用，因其性价比高且点云质量好；若需大视野且精度要求不高（如料筐抓取），选ToF；若需微米级精度（如精密装配），选激光。同时需考虑安装空间：结构光需要投射器和相机有一定基线距离（通常50-200mm），ToF体积最小，激光扫描仪需要旋转机构。
背景：某物流中心需从2m×1.5m的料筐中抓取随机堆叠的纸箱，纸箱尺寸不一（200-600mm），节拍要求15秒/次。
初始方案：使用结构光3D相机（基线120mm），工作距离1.5m。问题：纸箱表面有反光胶带，导致点云出现孔洞，抓取失败率8%。
分析：结构光对高反光表面解码失败，且料筐深度大，单次拍摄无法覆盖全部纸箱。
优化方案：改用ToF相机（分辨率640×480），配合多帧融合算法，并增加顶部补光。虽然单帧精度仅3mm，但通过点云滤波和平面拟合，纸箱位姿估计精度达到±5mm，满足抓取要求。
结果：抓取成功率提升至99.2%，节拍缩短至12秒。
复盘：在精度要求不高的场景，ToF的鲁棒性和速度优势远大于结构光。
4.5 标定流程：从内参到手眼矩阵
核心原理：标定是连接像素坐标与机器人坐标的桥梁。完整的标定包含三部分：相机内参标定（焦距、主点、畸变系数）、手眼标定（相机与机器人末端或基座的变换矩阵）、3D传感器与机器人对齐（点云坐标系到机器人基坐标系的旋转平移矩阵）。内参标定常用张正友标定法，使用棋盘格或圆点标定板拍摄10-20张不同位姿图像，通过OpenCV或Halcon计算。
操作流程：手眼标定分为“眼在手上”（相机装在机器人末端）和“眼在手外”（相机固定安装）两种。眼在手上时，标定目标是求解相机坐标系到机器人末端坐标系的变换矩阵X，满足AX=XB方程（A为机器人末端位姿变化，B为相机位姿变化）。眼在手外时，求解相机到机器人基座的变换矩阵。常用方法包括Tsai-Lenz算法和Navy算法，至少需要3组非平行运动。
# 手眼标定核心步骤（以眼在手外为例）
1. 固定相机，将标定板安装在机器人末端
2. 控制机器人运动到N个不同位姿（N≥5），记录机器人位姿T_robot_base_to_end
3. 在每个位姿拍摄标定板图像，解算标定板在相机坐标系下的位姿T_cam_to_board
4. 构建AX=XB方程组，求解X = T_cam_to_robot_base
5. 验证：将标定板放在工作空间任意位置，比较机器人读取的位姿与相机计算的位姿误差4.6 选型与标定的常见误区及复盘
误区一：盲目追求高分辨率。分辨率越高，数据量越大，处理时间越长，且对镜头和光源要求更高。抓取场景中，精度由“像素当量”（mm/pixel）决定，而非单纯像素数。例如，视野200mm，使用500万像素（2448×2048），像素当量约0.08mm/pixel，已满足大多数抓取需求。
误区二：忽略环境光影响。工业现场常有天窗、焊接弧光、AGV灯光等干扰。选型时必须考虑遮光罩、偏振片或频闪方案。曾有一个案例，因未考虑车间顶部天窗的太阳光变化，导致上午和下午的抓取精度差异达2mm。
误区三：标定一次永不更新。相机镜头松动、温度变化、机器人磨损都会导致标定参数漂移。建议建立定期复标制度：每周用标准件验证一次，每月完整复标一次。同时，在软件中设计标定参数版本管理，便于回溯。
误区四：3D传感器只关注精度指标。实际应用中，点云完整度、帧率、软件SDK易用性、抗环境光能力往往比标称精度更重要。建议在选型时用实际工件进行现场测试，而非仅看规格书。