3、机器视觉基础：图像采集、颜色空间、滤波、边缘检测、特征提取等核心概念
在NVIDIA Jetson平台上构建AI视觉机器人抓取系统，机器视觉基础是决定抓取精度与鲁棒性的关键底层能力。本章围绕图像采集、颜色空间、滤波、边缘检测与特征提取五大核心模块展开，帮助学习者建立从“像素到语义”的完整认知链路。我们将结合Jetson Orin Nano的硬件特性与OpenCV/Python生态，讲解每个模块的原理、操作流程、实战案例与常见误区，为后续的机械臂手眼标定与抓取规划奠定坚实基础。
上图展示了机器视觉在Jetson平台上的完整处理链路。图像采集是入口，颜色空间转换提供更符合人类感知的表示，滤波去除噪声干扰，边缘检测提取结构信息，特征提取则输出可供抓取算法使用的几何与位置参数。下面逐一深入讲解。
3.1 图像采集：Jetson平台上的相机选型与配置
核心原理
图像采集是视觉系统的“眼睛”。在Jetson Orin Nano上，常用的相机接口包括MIPI CSI（Camera Serial Interface）和USB 3.0。CSI接口通过专用硬件通道直接连接ISP（图像信号处理器），延迟低、带宽高，适合高速抓取场景；USB相机则更灵活，支持UVC协议，但CPU占用较高。采集的关键参数包括分辨率（如1280×720或1920×1080）、帧率（30/60/120 FPS）、曝光时间、增益和白平衡。对于机器人抓取，通常需要至少30 FPS的帧率以保证实时性，分辨率则根据目标物体大小与工作距离权衡。
操作流程
- 相机连接与驱动验证：使用
ls /dev/video*检查设备节点，CSI相机需加载tegra-camera驱动。 - GStreamer管道测试：在Jetson上使用
gst-launch-1.0 nvarguscamerasrc ! nvvidconv ! ximagesink验证CSI相机输出。 - OpenCV捕获：使用
cv2.VideoCapture(0)或cv2.VideoCapture("nvarguscamerasrc ! ...", cv2.CAP_GSTREAMER)获取帧。 - 参数设置：通过
cap.set(cv2.CAP_PROP_EXPOSURE, 100)等接口调整曝光与增益。
案例拆解：抓取场景下的曝光锁定
在流水线抓取中，环境光照可能波动。某案例中，工件表面反光导致过曝，特征丢失。解决方案是：将相机设为手动曝光模式，固定曝光时间（如5ms），并开启自动白平衡但锁定色温（如5000K）。通过 v4l2-ctl --set-ctrl exposure=100 命令在CSI相机上直接设置，确保每帧亮度一致。结果：边缘检测的稳定性从78%提升至96%。
nvarguscamerasrc 硬件加速，可降低CPU占用。若使用USB相机，建议开启 CAP_PROP_BUFFERSIZE 减少丢帧。
常见误区
- 误区：分辨率越高越好。高分辨率会降低帧率并增加处理延迟，抓取场景应优先保证帧率。
- 误区：忽略相机畸变。广角镜头需先进行标定，否则后续特征坐标偏移。
3.2 颜色空间：从RGB到HSV的转换与阈值分割
核心原理
RGB颜色空间适合显示，但对光照变化敏感。HSV（色相Hue、饱和度Saturation、明度Value）将颜色与亮度分离，更适合颜色阈值分割。例如，红色工件的RGB值在阴影下可能从(200,50,50)变为(150,30,30)，但H值仍保持在0°附近。在Jetson上，OpenCV默认使用0-179的H范围、0-255的S和V范围。
操作流程
- 使用
cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)转换颜色空间。 - 设定阈值范围，如红色：
lower = np.array([0, 100, 100])，upper = np.array([10, 255, 255])。 - 使用
cv2.inRange()生成二值掩膜。 - 结合形态学操作（腐蚀/膨胀）去除噪点。
对比表：RGB与HSV在抓取场景中的适用性
| 维度 | RGB | HSV |
|---|---|---|
| 光照鲁棒性 | 低，亮度变化直接影响三通道值 | 高，H通道独立于亮度 |
| 颜色区分度 | 相近颜色（如深红与暗红）难区分 | 通过H值可精确区分 |
| 计算开销 | 无转换开销 | 需额外转换，但开销可忽略 |
| 典型应用 | 灰度处理、深度学习输入 | 颜色标记、工件分拣 |
案例拆解：多色工件分拣
某分拣任务需识别红、蓝、绿三种颜色块。初始使用RGB阈值，在自然光下误检率高达25%。改用HSV后，分别设定三组阈值，并加入饱和度下限（S>80）排除灰色阴影。最终误检率降至3%。关键参数：红色H∈[0,10]∪[170,179]，蓝色H∈[100,130]，绿色H∈[40,80]。
cv2.createTrackbar() 动态调试。
3.3 滤波：去噪与保边平衡
核心原理
滤波用于消除传感器噪声和纹理干扰。高斯滤波（GaussianBlur）线性平滑，适合高斯噪声；中值滤波（medianBlur）对椒盐噪声效果极佳；双边滤波（bilateralFilter）在去噪的同时保留边缘，但计算量大。在Jetson上，GPU加速的 cv2.cuda 模块可显著提升滤波速度。
操作流程与参数选择
- 高斯滤波：核大小
(5,5)，σ=1.5，适用于一般场景。 - 中值滤波：核大小
5，适合去除孤立噪点。 - 双边滤波：d=9，σColor=75，σSpace=75，用于需要保留边缘的抓取定位。
案例拆解：金属工件反光处理
金属表面反光产生高光区域，导致边缘断裂。采用双边滤波后，高光边缘得以保留，但处理时间从2ms增至15ms。为满足实时性，采用降采样策略：先缩小图像至1/2尺寸滤波，再放大回原尺寸。结果：处理时间降至6ms，边缘完整性提升40%。
3.4 边缘检测：Canny与Sobel的实战应用
核心原理
边缘是图像灰度剧烈变化的位置。Sobel算子计算一阶梯度，方向性强；Canny算子通过高斯滤波、梯度计算、非极大值抑制和双阈值滞后连接，输出单像素宽边缘。在抓取场景中，Canny是首选，其双阈值（如低阈值50、高阈值150）可有效抑制伪边缘。
操作流程
- 灰度化：
cv2.cvtColor()。 - 高斯滤波：
cv2.GaussianBlur()消除噪声。 - Canny检测：
cv2.Canny(img, 50, 150)。 - 形态学闭运算：连接断裂边缘。
案例拆解：矩形工件角点定位
目标是从传送带上抓取矩形金属块。初始Canny阈值(30,100)产生大量内部纹理边缘。通过分析梯度直方图，将阈值调整为(80,180)，并添加闭运算核(5,5)。最终提取到完整矩形轮廓，角点坐标误差小于2像素。
3.5 特征提取：从轮廓到抓取位姿
核心原理
特征提取将边缘信息转化为可计算的几何量。常用方法包括：轮廓查找（cv2.findContours()）、最小外接矩形（cv2.minAreaRect()）、质心计算（cv2.moments()）以及Blob检测（cv2.SimpleBlobDetector()）。对于抓取，关键输出是目标的中心坐标、旋转角度和尺寸。
操作流程
- 二值化：基于颜色或边缘生成掩膜。
- 轮廓提取：
contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)。 - 筛选轮廓：按面积过滤（如面积>500像素）。
- 计算位姿：
rect = cv2.minAreaRect(contour)返回中心、尺寸、角度。
案例拆解：圆形工件抓取
目标为直径30mm的圆形法兰。使用Hough圆检测（cv2.HoughCircles()）受反光影响不稳定。改用轮廓法：提取边缘后，计算轮廓面积与周长的比值（圆度=4πA/P²），筛选圆度>0.85的轮廓。最终成功定位圆心，误差±1mm，满足吸盘抓取要求。
| 特征类型 | 提取方法 | 输出参数 | 适用场景 |
|---|---|---|---|
| 轮廓 | findContours | 点集、面积、周长 | 任意形状 |
| 最小外接矩形 | minAreaRect | 中心、宽高、角度 | 矩形/长条形工件 |
| Blob | SimpleBlobDetector | 关键点、直径 | 圆形/斑点标记 |
| 角点 | goodFeaturesToTrack | 角点坐标 | 棋盘格标定 |
常见误区与复盘
- 误区：直接使用原始轮廓坐标，未进行相机畸变校正，导致抓取偏移。
- 误区：忽略轮廓层级，误将内轮廓当作目标。应使用
RETR_EXTERNAL只取外轮廓。 - 复盘：在Jetson上，特征提取应尽量使用
cv2.cuda加速，例如cv2.cuda.findContours()可提升2-3倍速度。