2、机器视觉基础：图像采集、像素与坐标系、颜色空间、图像滤波与增强
机器视觉系统的第一步是获取高质量的图像数据，后续的定位、识别与抓取规划都建立在准确的图像信息之上。本章围绕图像从“采集”到“预处理”的完整链路，讲解传感器与接口选型、像素与坐标系定义、颜色空间转换逻辑，以及滤波与增强的工程方法。理解这些基础概念，是设计稳定抓取系统、排查图像异常、提升算法鲁棒性的前提。
上图展示了机器视觉图像处理链路的四个核心模块及其工程衔接关系。在实际抓取系统中，图像采集硬件决定了数据质量的上限，而像素与坐标系的正确理解决定了定位精度，颜色空间的选择影响特征提取的稳定性，滤波与增强则直接关系到算法在复杂光照下的鲁棒性。下面逐一展开。
2.1 图像采集：传感器、接口与曝光控制
核心原理
图像采集是将光学信号转换为数字信号的过程。工业相机中常用的传感器分为CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）两大类。CCD传感器具有全局快门特性，整幅画面同时曝光，适合高速运动物体的拍摄；CMOS传感器功耗低、集成度高，但多数采用卷帘快门，逐行曝光，在拍摄快速运动物体时会产生果冻效应。对于机器人抓取场景，若工件在传送带上高速运动，应优先选择全局快门的CCD或全局快门CMOS相机。
相机接口决定了数据传输带宽与稳定性。当前主流的工业接口包括GigE Vision（千兆以太网）、USB3.0、Camera Link和CoaXPress。GigE接口传输距离长（可达100米），适合分布式布局；USB3.0即插即用，带宽达5Gbps，适合短距离桌面级应用。在抓取系统中，还需考虑触发方式：硬件触发（通过外部传感器信号）能保证采集与运动同步，软件触发则适合静态场景。
操作流程与选型判断
- 确定分辨率：根据视野范围（FOV）和所需精度计算。例如视野为200mm×150mm，要求定位精度0.1mm，则最小分辨率应为200/0.1=2000像素，考虑边缘余量，建议选用500万像素相机。
- 选择传感器类型：运动速度>0.5m/s时优先全局快门；静止或低速场景可选卷帘快门以降低成本。
- 匹配镜头接口：C接口（后焦距17.526mm）是工业相机最常见标准，需确保镜头与相机靶面尺寸匹配，避免暗角。
- 设置曝光参数：曝光时间应小于物体移动一个像素所需时间的1/10，否则产生运动模糊。
案例拆解：传送带上的药瓶抓取
某制药厂需要抓取传送带上以1.2m/s速度移动的药瓶，瓶身标签需朝向相机。初始方案使用卷帘快门相机，发现图像出现明显倾斜变形，导致标签定位偏差达3mm。分析后确认是果冻效应所致。改用全局快门CMOS相机，曝光时间设为0.2ms，配合频闪LED光源（脉宽0.5ms），图像清晰无拖影。同时将相机触发方式从软件触发改为光电传感器硬件触发，抓取成功率从87%提升至99.2%。
常见误区
- 误区一：认为分辨率越高越好。分辨率过高会导致数据量增大、处理变慢，且对镜头和光源要求更高。
- 误区二：忽略镜头畸变。普通镜头在边缘区域存在桶形或枕形畸变，抓取定位前必须进行畸变校正。
- 误区三：曝光时间设置过长。在光照不足时盲目增加曝光时间，会造成运动模糊，应优先考虑增强光源强度。
2.2 像素与坐标系：从图像到空间的映射
核心原理
图像在计算机中是以像素矩阵存储的，每个像素的坐标（u,v）表示其在图像中的行列位置。但机器人抓取需要的是三维空间坐标，因此必须建立从像素坐标到世界坐标的转换链路。整个转换涉及四个坐标系：像素坐标系（u,v）、图像物理坐标系（x,y）、相机坐标系（Xc,Yc,Zc）和世界坐标系（Xw,Yw,Zw）。
像素坐标到图像物理坐标的转换通过相机内参完成，包括焦距f、主点坐标（cx,cy）和像素尺寸dx,dy。图像物理坐标到相机坐标的转换涉及透视投影关系。相机坐标到世界坐标的转换则通过外参矩阵（旋转矩阵R和平移向量t）实现。这一过程通常称为“手眼标定”或“相机标定”。
标定方法与流程
| 标定类型 | 输入数据 | 输出结果 | 适用场景 |
|---|---|---|---|
| 内参标定 | 棋盘格多角度图像 | 焦距、主点、畸变系数 | 所有视觉系统 |
| 手眼标定（眼在手上） | 机械臂末端位姿+标定板图像 | 相机与末端执行器变换矩阵 | 机械臂移动相机抓取 |
| 手眼标定（眼在手外） | 机械臂基座位姿+标定板图像 | 相机与机器人基座变换矩阵 | 固定相机引导抓取 |
标定操作的核心步骤：采集15-20张不同姿态的标定板图像，使用OpenCV或Halcon的标定工具自动提取角点，计算内参和外参。标定精度直接影响抓取定位精度，通常要求重投影误差小于0.1像素。
Zc * [u, v, 1]^T = K * [R | t] * [Xw, Yw, Zw, 1]^T实战场景：固定相机引导抓取
某3C装配线使用固定相机识别电路板上的元件位置，引导机械臂抓取。系统标定后，像素坐标（u,v）通过内参和外参矩阵转换为机器人基座坐标系下的（X,Y,Z）。由于电路板放置在固定高度的治具上，Z值恒定，只需计算X和Y。实际运行中，发现当电路板旋转一定角度时，抓取位置偏差增大。分析原因是标定时未考虑旋转自由度，导致外参矩阵中的旋转分量不准确。重新进行全姿态标定后，系统在±30°旋转范围内定位精度保持在±0.2mm以内。
常见误区
- 误区一：标定板图像数量不足或姿态单一，导致标定结果过拟合。
- 误区二：忽略镜头畸变校正，在图像边缘区域产生较大定位误差。
- 误区三：标定后更换镜头或调整相机位置，未重新标定。
2.3 颜色空间：特征提取的“视角”选择
核心原理
颜色空间是描述颜色的数学模型。工业视觉中最常用的包括RGB、HSV、YUV和Lab。RGB适合显示和存储，但三个通道高度相关，对光照变化敏感。HSV将颜色分解为色调（H）、饱和度（S）和亮度（V），其中H通道对光照变化相对鲁棒，适合颜色识别。YUV将亮度（Y）与色度（U,V）分离，在视频传输中广泛使用。Lab颜色空间感知均匀，适合颜色差异度量。
在抓取场景中，选择正确的颜色空间能显著提升特征提取的稳定性。例如，识别红色工件时，在RGB空间需要同时判断R通道高且G、B通道低，而在HSV空间只需判断H值在0-10°或170-180°范围内即可。
颜色空间转换与选择策略
| 应用场景 | 推荐颜色空间 | 原因 |
|---|---|---|
| 金属反光表面识别 | HSV | 分离亮度干扰，H通道稳定 |
| 彩色标签分类 | Lab | 色差度量均匀，适合颜色聚类 |
| 低光照环境 | YUV | Y通道可单独增强，保留颜色信息 |
| 纹理/形状识别 | 灰度Gray | 减少数据量，突出边缘信息 |
案例拆解：彩色药盒分拣
某物流分拣线需要识别红、蓝、绿三种颜色的药盒。初始方案在RGB空间使用阈值分割，但车间灯光变化导致识别率波动。分析发现，RGB阈值在上午和下午光照不同时失效。改用HSV空间后，仅使用H通道进行阈值分割（红色H:0-10,170-180；蓝色H:100-130；绿色H:35-85），识别率稳定在99.5%以上。同时，通过S通道过滤低饱和度的阴影区域，进一步减少了误检。
常见误区
- 误区一：所有颜色识别都使用RGB，忽略了光照变化的影响。
- 误区二：转换颜色空间后未调整阈值，直接沿用RGB的阈值逻辑。
- 误区三：未考虑颜色空间的非线性变换带来的计算开销，在实时性要求高的场景中导致帧率下降。
2.4 图像滤波与增强：提升信噪比与对比度
核心原理
图像滤波的目的是去除噪声或提取特定频率信息。常用滤波器包括：高斯滤波（线性平滑，适合去除高斯噪声）、中值滤波（非线性，适合去除椒盐噪声）、双边滤波（边缘保留平滑）和形态学滤波（膨胀、腐蚀，用于二值图像处理）。图像增强则通过直方图均衡化、对比度拉伸等方法改善图像视觉效果，使特征更突出。
在抓取系统中，滤波和增强的顺序很重要。通常先滤波降噪，再进行增强，否则噪声会被放大。对于边缘定位任务，应使用边缘保留滤波（如双边滤波）而非普通高斯滤波，以避免边缘模糊导致定位精度下降。
滤波选型与参数设置
| 噪声类型 | 推荐滤波器 | 核大小建议 | 注意事项 |
|---|---|---|---|
| 高斯噪声 | 高斯滤波 | 3×3或5×5 | σ值取1-2，过大导致模糊 |
| 椒盐噪声 | 中值滤波 | 3×3 | 核越大去噪越强但细节损失越多 |
| 混合噪声 | 双边滤波 | d=5, σColor=50, σSpace=5 | 参数需根据图像噪声水平调整 |
| 周期性噪声 | 频域滤波 | 带阻滤波器 | 需先进行傅里叶变换 |
实战场景：低对比度工件定位
某汽车零部件为黑色橡胶材质，在深色传送带上对比度极低，直接使用边缘检测无法稳定提取轮廓。处理流程如下：首先使用直方图均衡化增强全局对比度，然后使用CLAHE（限制对比度自适应直方图均衡）增强局部细节，最后使用Sobel算子提取边缘。处理后，边缘检测的完整度从62%提升至95%。但发现CLAHE参数设置过大时会产生噪声放大，经过参数调优（clipLimit=2.0, tileGridSize=8×8），在保持边缘清晰的同时控制了噪声水平。
常见误区
- 误区一：滤波核越大越好。过大的核会模糊边缘，导致定位精度下降。
- 误区二：先增强后滤波。增强操作会放大噪声，后续滤波难以完全去除。
- 误区三：对所有图像使用相同滤波参数。不同光照、不同材质工件的噪声特性不同，应针对场景调参。
本章内容为后续的标定、特征提取和抓取规划奠定了数据基础。在实际项目中，图像采集与预处理往往占据整个视觉系统开发时间的40%以上，扎实掌握这些基础操作，能显著减少后期算法调试的返工成本。