2、图像基础与坐标系：像素坐标系、世界坐标系、图像数据类型、灰度与彩色图像在预处理中的差异
工业视觉预处理的第一个关键步骤，是理解图像在计算机中究竟以何种方式存在，以及我们如何用数学语言描述图像中的每一个点。无论是ROI截取、光照校正还是畸变矫正，所有操作最终都要落到“对哪个坐标下的哪个像素值做何种运算”这一基本问题上。如果坐标系混乱或数据类型理解错误，后续的算法精度将无从谈起。本节将系统梳理像素坐标系与世界坐标系的映射关系、常见图像数据类型的存储特性，以及灰度图与彩色图在预处理流程中的本质差异。
2.1 像素坐标系与世界坐标系：从图像到物理空间的桥梁
核心原理：像素坐标系是图像在计算机内存中的存储索引方式，以图像左上角为原点，u轴向右、v轴向下，单位为像素。世界坐标系则是描述物体在真实三维空间中位置的参考系，单位为毫米或米。两者之间通过相机内参（焦距、主点、畸变系数）和外参（旋转矩阵、平移向量）建立映射关系。在工业视觉预处理中，ROI的选取通常基于像素坐标系，而测量、定位等任务则需要将像素坐标转换到世界坐标系。
| 坐标系 | 维度 | 原点位置 | 单位 | 典型应用 |
|---|---|---|---|---|
| 像素坐标系 (u, v) | 2D | 图像左上角 | 像素 | ROI截取、模板匹配、特征点定位 |
| 图像坐标系 (x, y) | 2D | 光轴与图像平面交点 | 毫米 | 畸变校正、相机标定中间步骤 |
| 相机坐标系 (Xc, Yc, Zc) | 3D | 相机光心 | 毫米 | 深度估计、三维重建 |
| 世界坐标系 (Xw, Yw, Zw) | 3D | 用户自定义 | 毫米/米 | 机器人抓取、尺寸测量、位姿估计 |
操作流程：在实际项目中，像素坐标到世界坐标的转换通常遵循以下步骤：
- 相机标定：使用棋盘格标定板获取相机内参矩阵K和畸变系数（k1, k2, p1, p2, k3）。
- 畸变校正：对原始图像应用去畸变映射，得到校正后的理想图像。
- 外参标定：通过手眼标定或平面标定获取旋转矩阵R和平移向量t。
- 坐标转换：对校正后图像中的像素点(u, v)，先转换到图像坐标(x, y)，再投影到相机坐标(Xc, Yc, Zc)，最后通过R和t映射到世界坐标(Xw, Yw, Zw)。
实战场景：在某PCB板缺陷检测项目中，需要定位焊点位置并测量其直径。初始图像分辨率为2448×2048，相机视野为30mm×25mm。操作人员先在像素坐标系下框选ROI区域（u: 800~1600, v: 600~1400），然后通过标定参数将ROI中心像素坐标(1200, 1000)转换为世界坐标。转换结果为(14.7mm, 12.2mm)，与机械臂实际抓取位置误差小于0.05mm，满足生产要求。
常见误区：许多工程师在ROI截取时直接使用像素坐标，而忽略了畸变对边缘区域的影响。在图像边缘处，畸变可能造成5~10个像素的偏移，导致ROI定位偏差。建议在畸变较大的镜头（如广角镜头）下，先对全图做去畸变处理，再进行ROI截取。
2.2 图像数据类型：位深与存储格式的选择
核心原理：图像数据类型决定了每个像素点可表达的灰度级或颜色深度。工业视觉中常见的数据类型包括：CV_8UC1（8位单通道灰度）、CV_8UC3（8位三通道彩色）、CV_16UC1（16位单通道深度/高动态范围）以及CV_32FC1（32位浮点，用于中间计算）。选择合适的数据类型直接影响内存占用、处理速度和精度。
| 数据类型 | OpenCV枚举 | 位深 | 取值范围 | 内存占用(1024×1024) | 适用场景 |
|---|---|---|---|---|---|
| 二值图 | CV_8UC1 | 1 bit | 0 或 255 | 1 MB | OCR、Blob分析、轮廓提取 |
| 灰度图 | CV_8UC1 | 8 bit | 0~255 | 1 MB | 边缘检测、模板匹配、缺陷检测 |
| 彩色图 | CV_8UC3 | 24 bit | 0~255/通道 | 3 MB | 颜色识别、色差检测、视觉引导 |
| 深度图 | CV_16UC1 | 16 bit | 0~65535 | 2 MB | 3D测量、高度检测、体积计算 |
| 浮点图 | CV_32FC1 | 32 bit | ±3.4e38 | 4 MB | 频域变换、梯度计算、亚像素处理 |
判断方法：选择数据类型时需考虑三个因素：精度需求（如亚像素测量需要浮点）、处理速度（8位处理最快）、内存限制（嵌入式设备需控制内存）。例如，在高速产线上（节拍<1秒），优先使用8位灰度图；在精密测量中（公差<0.01mm），则需16位或浮点图。
经验提醒：在光照不均匀的工业场景中，8位灰度图往往无法同时保留暗部和亮部细节。此时可考虑使用16位图采集（如Basler相机支持12位输出），在预处理阶段通过直方图均衡化或局部自适应增强后再降为8位用于显示。
2.3 灰度与彩色图像在预处理中的差异
核心原理：灰度图像仅包含亮度信息，每个像素一个值；彩色图像包含红、绿、蓝三个通道，能够提供颜色信息。在预处理中，两者的差异体现在算法选择、计算复杂度和信息利用率上。灰度图适合形状、纹理、边缘分析；彩色图适合颜色分类、色差检测、多光谱分析。
对比分析：
| 维度 | 灰度图预处理 | 彩色图预处理 |
|---|---|---|
| 通道数 | 1通道 | 3通道（R/G/B 或 H/S/V） |
| 滤波运算 | 单次卷积 | 3次卷积（每通道独立） |
| 阈值分割 | 单阈值或自适应阈值 | 需在特定颜色空间（如HSV）中设定范围 |
| 边缘检测 | Canny/Sobel直接应用 | 需先转灰度或对每个通道分别检测后融合 |
| 光照敏感性 | 对光照变化敏感 | HSV中V通道对光照敏感，H/S相对稳定 |
| 处理速度 | 快（1×运算量） | 慢（3×运算量） |
| 典型算法 | 直方图均衡、OTSU、形态学 | 颜色空间转换、通道分离、颜色直方图 |
操作流程（彩色转灰度）：在OpenCV中，使用cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)进行转换。转换公式为：Gray = 0.299R + 0.587G + 0.114B。但需注意，该公式基于人眼感知特性，并非所有工业场景都适用。例如，在检测蓝色物体时，B通道权重较低可能导致对比度不足，此时应使用cv2.COLOR_BGR2HSV提取H通道或直接使用B通道作为灰度图。
案例拆解：某电子元件引脚检测项目中，引脚为金色（高反射），PCB基板为绿色。初始方案直接使用灰度图进行阈值分割，由于金色和绿色在灰度图中灰度值接近（约150~180），分割效果差，误检率高达15%。改进方案：将图像转换到HSV颜色空间，提取H通道（色调），金色引脚H值约20~30，绿色基板H值约60~80，两者差异明显。使用H通道进行阈值分割后，误检率降至0.5%以下。处理时间从灰度图的8ms增加到彩色转换+分割的15ms，但仍满足20ms的节拍要求。
常见误区：不要盲目将彩色图转为灰度图。如果检测目标与背景的颜色差异明显但亮度接近，直接转灰度会丢失关键信息。正确的做法是先分析颜色分布，再决定使用哪个通道或颜色空间。此外，彩色图在光照变化下的稳定性通常优于灰度图（因为H/S通道对光照不敏感），在户外或光照波动场景中应优先考虑HSV空间。
2.4 预处理中的坐标系与数据类型综合应用
核心原理：在实际工业视觉系统中，坐标系转换和数据类型选择不是孤立的。例如，在机器人引导任务中，需要先通过彩色图识别目标颜色，再转灰度图进行边缘定位，最后将像素坐标转换为世界坐标供机器人执行。整个流程中，每一步的数据类型和坐标系选择都影响最终精度。
综合流程清单：
- 图像采集：根据检测需求选择相机（彩色/黑白）和位深（8/10/12/16位）。
- 预处理：去畸变（像素坐标系）、ROI截取（像素坐标系）、光照校正（灰度或彩色通道）。
- 特征提取：灰度图用于边缘/角点，彩色图用于颜色区域提取。
- 坐标转换：将特征点的像素坐标通过标定参数映射到世界坐标。
- 结果输出：将世界坐标发送给PLC或机器人控制器。
经验总结：在项目启动时，建议先明确最终输出是像素坐标还是世界坐标。如果仅需像素级检测（如缺陷有无），可全程使用8位灰度图，处理速度最快；如果涉及物理尺寸测量或机器人引导，则需在预处理阶段保留16位数据以避免精度损失，并在流程末尾进行坐标转换。