4、图像采集与预处理：相机参数设置（曝光、增益、白平衡）、图像格式（Bayer、RGB、灰度）与OpenVINO支持的输入格式

在工业视觉系统中，图像采集与预处理是决定后续推理精度的第一道关卡。很多开发者在模型部署阶段发现精度下降，往往不是模型本身的问题，而是相机参数设置不当或图像格式转换链路存在缺陷。本章将围绕相机三大核心参数（曝光、增益、白平衡）、三种常见图像格式（Bayer、RGB、灰度）以及OpenVINO的输入格式要求展开，帮助您建立从“光信号”到“张量数据”的完整认知链路。

4.1 相机参数设置：曝光、增益与白平衡的工程实践

工业相机参数设置不是“调出清晰图像”那么简单，而是要在特定光照条件、运动速度、检测精度要求下，找到一组最优参数组合。曝光、增益、白平衡三者相互耦合，任何一个参数的改变都会影响最终图像质量。

4.1.1 核心原理：三大参数的物理意义与相互作用

曝光（Exposure） 控制传感器感光元件接收光子的时间长度，单位通常为微秒（μs）或毫秒（ms）。曝光时间越长，进光量越大，图像越亮，但运动物体容易产生拖影（motion blur）。在流水线检测场景中，若传送带速度为 0.5m/s，相机视野宽度为 200mm，则曝光时间必须控制在 2ms 以内才能保证物体位移不超过 1mm。

增益（Gain） 是对传感器输出信号的放大倍数，分为模拟增益和数字增益。模拟增益在信号数字化之前放大，噪声相对较小；数字增益在数字化之后放大，会同步放大噪声。增益每增加 6dB，信号幅度翻倍，但信噪比会下降约 3dB。工业场景中，应优先增加光源亮度而非增益，增益一般控制在 0-12dB 范围内。

白平衡（White Balance） 用于校正不同色温光源下图像的颜色偏差。其本质是对 R、G、B 三个通道施加不同的增益系数，使白色物体在不同光照下呈现为白色。工业检测中，若光源色温不稳定（如LED老化），白平衡参数需要定期校准。

4.1.2 判断方法：如何确定最优参数组合

确定最优参数组合需要遵循“先曝光、再增益、后白平衡”的调节顺序。具体操作流程如下：

1. 固定光源：确保环境光照稳定，使用工业光源（环形光、条形光、同轴光）并预热 10 分钟以上。
2. 设置曝光基准：将增益设为最小值（0dB），白平衡设为默认值，逐步增加曝光时间，直到图像平均灰度达到 128-160（8bit图像）之间。
3. 检查运动模糊：在流水线运行状态下拍摄，观察图像边缘是否清晰。若存在拖影，则缩短曝光时间，并通过增加光源亮度补偿。
4. 微调增益：若曝光时间已受限于运动速度，且图像仍偏暗，则逐步增加增益，观察噪声水平。当图像出现明显颗粒感时，停止增加。
5. 白平衡校正：使用标准白色色卡（如X-Rite ColorChecker）放置在视野中，执行一键白平衡，或手动调整R/G/B增益使白色区域RGB值接近相等。

4.1.3 实战场景：PCB板焊点检测的相机参数调优

某电子制造企业需要检测PCB板上的焊点缺陷（虚焊、桥连），使用500万像素工业相机，镜头焦距25mm，工作距离300mm，视野范围50mm×40mm。传送带速度200mm/s，要求检测节拍为2秒/板。

初始现象：使用默认参数（曝光5ms，增益6dB，自动白平衡）拍摄，图像整体偏暗，焊点区域反光严重，部分区域过曝，且存在轻微运动模糊。

分析过程：

• 计算最大曝光时间：物体在曝光时间内位移应小于1/3像素尺寸。相机像素尺寸3.45μm，视野50mm对应2448像素，则单像素对应0.0204mm。允许位移0.0068mm，曝光时间上限 = 0.0068mm / 200mm/s = 34μs。
• 原曝光5ms远超上限，导致运动模糊。
• 焊点反光属于镜面反射，需要降低光源角度或使用偏振片。

实际操作：

1. 将曝光时间从5ms降至30μs，图像亮度大幅下降。
2. 增加环形光源亮度至最大功率（24W），图像亮度恢复至平均灰度约100。
3. 增益从6dB降至0dB，噪点明显减少。
4. 使用偏振片消除反光，焊点轮廓清晰。
5. 执行白平衡校正，焊点颜色还原准确。

结果对比：调优前缺陷检出率仅82%，误检率15%；调优后检出率提升至97%，误检率降至3%。

复盘经验：工业视觉中，光源设计比相机参数更重要。当参数调节无法满足需求时，应优先考虑改变光源类型、角度或增加光学附件。

4.2 图像格式：Bayer、RGB与灰度的选择策略

图像格式决定了数据量大小、色彩还原能力和处理复杂度。工业相机输出的原始格式通常是Bayer RAW，而OpenVINO模型输入通常要求RGB或灰度格式，因此格式转换是预处理链路中不可或缺的一环。

4.2.1 核心原理：三种格式的本质区别

Bayer格式 是单通道图像，每个像素只包含R、G、B中的一个分量，按照2×2的排列模式（RGGB、BGGR、GRBG、GBRG）周期性重复。由于人眼对绿色最敏感，Bayer模式中G分量占50%，R和B各占25%。Bayer格式的数据量仅为RGB的1/3，适合高速传输和存储，但必须经过插值（Demosaic）才能还原为彩色图像。

RGB格式 每个像素包含R、G、B三个分量，通常以24bit（每通道8bit）或30bit（每通道10bit）存储。RGB格式色彩还原准确，但数据量大，传输带宽要求高。

灰度格式 每个像素只有一个亮度值（0-255），数据量最小。对于不依赖颜色的检测任务（如划痕检测、尺寸测量、纹理分析），灰度图完全够用，且处理速度更快。

4.2.2 判断方法：如何选择图像格式

选择图像格式需要综合考虑检测任务、算法要求和硬件资源：

• 任务是否需要颜色信息：若检测对象依赖颜色区分（如LED灯珠颜色分类、标签印刷缺陷），必须使用RGB；若仅检测形状、位置、表面纹理，灰度即可。
• 算法输入要求：深度学习模型通常要求RGB三通道输入，即使原始任务是灰度检测，也需要将灰度图复制为三通道以满足模型输入。
• 传输带宽限制：若使用GigE接口（带宽1Gbps），在60fps帧率下，RGB888格式需要约1.44Gbps带宽，超出限制；此时应选择Bayer格式传输，在主机端完成转换。

4.2.3 案例拆解：Bayer到RGB转换的工程实现

某半导体晶圆检测项目使用2000万像素相机，输出Bayer RGGB格式，12bit位深。检测算法需要RGB输入，且要求转换后图像无伪彩色（false color）。

关键约束：转换速度要求小于10ms/帧，且不能使用GPU（工控机无独立显卡）。

方案对比：

1. OpenCV cvtColor：使用双线性插值，速度快（约5ms），但边缘处易产生拉链效应（zipper effect）。
2. OpenCV cvtColor + 边缘增强：先执行边缘检测，在边缘区域使用高质量插值（如梯度方向插值），非边缘区域使用双线性。速度约8ms，质量明显提升。
3. 自研查表法：将12bit Bayer数据通过查表映射到8bit RGB，配合预计算的插值系数。速度最快（3ms），但需要额外内存存储查表。

最终选择：方案2，在保证速度的同时兼顾图像质量。实际部署中，使用OpenCV的 cv::cvtColor 函数，设置 COLOR_BayerBG2BGR 标志，并在转换前对Bayer数据做3×3中值滤波去除坏点。

4.3 OpenVINO支持的输入格式与预处理要求

OpenVINO模型推理时，输入张量的格式必须与模型训练时完全一致，否则会导致精度下降甚至推理失败。理解OpenVINO的输入格式要求，是连接图像采集与模型推理的关键桥梁。

4.3.1 核心原理：OpenVINO输入张量的四个维度

OpenVINO模型输入通常为四维张量，遵循 NCHW（批量、通道、高度、宽度）或 NHWC（批量、高度、宽度、通道）布局。大多数OpenVINO模型默认使用NCHW布局，但部分模型（如TensorFlow导出的模型）可能使用NHWC。

除了布局，还需要关注以下三个关键属性：

• 精度（Precision）：FP32（32位浮点）、FP16（16位浮点）、U8（8位无符号整数）。FP32精度最高但内存占用大，U8适合量化模型，推理速度最快。
• 通道顺序：OpenVINO默认使用BGR通道顺序（与OpenCV一致），而PyTorch训练模型通常使用RGB。若模型训练时使用RGB，需要在预处理中转换通道顺序。
• 归一化参数：模型训练时使用的mean和scale值，如ImageNet的mean=[0.485, 0.456, 0.406]，std=[0.229, 0.224, 0.225]。OpenVINO推理时需将像素值从[0,255]归一化到[0,1]或[-1,1]。

4.3.2 操作流程：从相机图像到OpenVINO输入张量

以下是一个标准的预处理流程，适用于大多数工业检测场景：

// 伪代码示例：OpenVINO输入预处理
// 1. 从相机获取Bayer图像（假设为BGGR排列）
cv::Mat bayerImage = captureFrame();

// 2. 转换为BGR彩色图像
cv::Mat bgrImage;
cv::cvtColor(bayerImage, bgrImage, cv::COLOR_BayerBG2BGR);

// 3. 调整尺寸到模型输入大小（如416×416）
cv::Mat resizedImage;
cv::resize(bgrImage, resizedImage, cv::Size(416, 416));

// 4. 转换通道顺序：BGR -> RGB（如果模型训练时使用RGB）
cv::Mat rgbImage;
cv::cvtColor(resizedImage, rgbImage, cv::COLOR_BGR2RGB);

// 5. 转换为FP32并归一化
rgbImage.convertTo(rgbImage, CV_32F, 1.0/255.0);

// 6. 减均值、除方差
cv::subtract(rgbImage, cv::Scalar(0.485, 0.456, 0.406), rgbImage);
cv::divide(rgbImage, cv::Scalar(0.229, 0.224, 0.225), rgbImage);

// 7. 转换为NCHW布局并填充到Blob
// 注意：OpenVINO的InferRequest中，输入数据需要按NCHW顺序排列
float* inputData = request.GetBlob("input").as<float*>();
// 按NCHW顺序拷贝数据...

4.3.3 实战场景：灰度图输入到RGB模型的适配

某钢材表面缺陷检测项目，原始相机输出为灰度图（1280×1024），但预训练模型（ResNet50）要求RGB三通道输入。直接复制灰度图到三通道会导致模型精度下降约5%。

问题分析：模型在ImageNet上预训练，其第一层卷积核学习到了颜色特征。灰度图复制为三通道后，三个通道完全相同，相当于丢失了颜色差异信息。

解决方案：

1. 方案A：微调模型：将模型第一层卷积的输入通道改为1，使用灰度数据集微调。精度可恢复至接近原始水平，但需要额外训练时间。
2. 方案B：伪彩色映射：将灰度图通过颜色映射（如Jet、Viridis）转换为伪彩色RGB图。适用于纹理类缺陷，但对颜色敏感的缺陷不适用。
3. 方案C：使用灰度预训练模型：查找在灰度数据集（如ImageNet灰度版）上预训练的模型权重。

最终选择：方案A，使用OpenVINO的Model Optimizer进行模型转换时，通过 --input_shape 参数修改输入通道数，并在训练阶段使用灰度数据微调。实际部署中，推理精度从82%提升至94%。

4.3.4 常见误区与复盘

误区一：盲目追求高分辨率。分辨率越高，数据量越大，处理速度越慢。对于缺陷检测，应选择刚好能分辨最小缺陷的分辨率，而非一味追求高像素。

误区二：忽略白平衡对灰度图的影响。即使最终输出灰度图，白平衡错误也会导致灰度值偏移，影响基于阈值的分割算法。

误区三：OpenVINO输入通道顺序错误。很多开发者从PyTorch迁移模型时忘记转换RGB到BGR，导致检测精度大幅下降。建议在预处理代码中显式标注通道顺序，并添加单元测试验证。

误区四：归一化参数不一致。训练时使用mean=[0.485,0.456,0.406]，推理时却忘记减均值，或使用了错误的std值。这类错误往往难以察觉，但会导致模型输出置信度普遍偏低。

复盘建议：在项目调试阶段，建议保存一组“黄金测试图”（包含典型缺陷、正常样本、不同光照条件），每次修改预处理代码后，用这组图像验证推理结果，确保精度没有回退。