3、图像采集基础：掌握OpenMV摄像头图像采集方法

OpenMV视觉分类项目的起点是图像采集。无论后续采用传统计算机视觉算法还是部署轻量级神经网络模型，采集到的图像质量直接决定了整个系统的性能上限。本章将围绕OpenMV摄像头（以OV7725/OV5640传感器为例）的图像采集链路，深入讲解分辨率、帧率、色彩空间（RGB、灰度、LAB）的设置方法、底层原理及其对视觉任务的影响。我们将从传感器输出到内存存储的完整路径出发，帮助你在实际项目中做出合理的参数权衡。

3.1 核心原理：从传感器到帧缓冲的完整链路

OpenMV的图像采集并非简单的"拍照"操作，而是一条由硬件和固件协同工作的流水线。理解这条链路有助于你诊断图像异常（如偏色、拖影、噪点）并做出针对性调整。

• 传感器输出：OV7725传感器默认输出RAW Bayer格式（每个像素仅包含R/G/B中的一个分量），或经过内部ISP输出YUV422格式。OpenMV固件通常配置为直接获取YUV422数据，以便后续灵活转换。
• ISP处理：OpenMV的固件在STM32H7芯片上运行，通过DVP接口接收传感器数据，并执行自动曝光（AE）、自动白平衡（AWB）、色彩插值（Debayer）和简单的降噪处理。这些参数可以通过sensor.set_auto_exposure()、sensor.set_auto_whitebal()等API控制。
• 帧缓冲存储：处理后的图像被DMA直接写入内存中的帧缓冲（Frame Buffer）。OpenMV通常分配一块连续的内存区域，大小由分辨率×每像素字节数决定。例如，320×240的RGB565图像占用320×240×2=153,600字节（约150KB）。
• 算法访问：用户代码通过sensor.snapshot()获取当前帧的引用，后续所有视觉操作（如阈值分割、特征点检测、CNN推理）都直接在该帧缓冲上进行，避免额外的内存拷贝。

3.2 分辨率设置：细节与性能的权衡

OpenMV支持多种分辨率，常见的有QQVGA（160×120）、QCIF（176×144）、QVGA（320×240）、VGA（640×480）以及更高分辨率（取决于传感器型号）。分辨率的选择直接影响以下三个维度：

分辨率	像素总数	RGB565内存占用	典型帧率（OV7725）	适用场景
QQVGA (160×120)	19,200	37.5 KB	50-60 FPS	高速检测、简单形状识别
QVGA (320×240)	76,800	150 KB	30-45 FPS	通用视觉任务、CNN推理
VGA (640×480)	307,200	600 KB	15-25 FPS	高精度定位、二维码识别

设置分辨率的代码非常简单：

import sensor
sensor.reset()
sensor.set_pixformat(sensor.RGB565)  # 先设置色彩格式
sensor.set_framesize(sensor.QVGA)    # 再设置分辨率
sensor.run(1)  # 启动传感器

需要注意的是，分辨率越高，每个像素的曝光时间越短（在相同帧率下），可能导致图像变暗。如果环境光照不足，高分辨率反而会降低图像质量。此外，CNN模型输入尺寸通常远小于传感器分辨率，过高的分辨率只会增加预处理开销，不会提升模型精度。

3.3 帧率控制：实时性与曝光时间的平衡

帧率（FPS）决定了系统捕捉动态场景的能力。OpenMV的帧率受三个因素制约：传感器最大输出帧率、曝光时间、算法处理耗时。实际帧率 = 1 / (曝光时间 + 读取时间 + 算法处理时间)。

调整帧率的核心API是sensor.set_framesize()和sensor.set_vflip()等，但更直接的是控制曝光时间：

# 关闭自动曝光，手动设置曝光时间（单位：微秒）
sensor.set_auto_exposure(False, exposure_us=20000)  # 20ms曝光

# 或者开启自动曝光，并设置最大/最小曝光范围
sensor.set_auto_exposure(True, exposure_max=30000)

在视觉分类项目中，帧率的选择取决于目标物体的运动速度：

• 静态或慢速物体（如零件分拣）：10-15 FPS即可，可适当降低帧率换取更长的曝光时间，提升低光环境下的图像亮度。
• 中等速度物体（如传送带上的产品）：25-30 FPS是常用区间，需要平衡曝光和运动模糊。
• 高速运动物体（如旋转机械）：需要50 FPS以上，此时应降低分辨率并增加补光设备。

3.4 色彩空间选择：RGB、灰度与LAB的工程取舍

OpenMV支持三种主要的像素格式：sensor.RGB565、sensor.GRAYSCALE和sensor.LAB（实际为RGB565存储，但提供LAB转换API）。选择正确的色彩空间可以显著简化后续算法。

3.4.1 RGB565：彩色信息的直接表达

RGB565使用16位表示一个像素，其中R占5位、G占6位、B占5位。这是OpenMV默认的彩色格式，适合颜色识别、彩色图像分类等任务。优点是色彩还原度高，缺点是内存占用翻倍，且对光照变化敏感——同一物体在不同光照下RGB值波动较大。

3.4.2 灰度：简化计算，突出结构特征

灰度图像每个像素仅占1字节，内存占用仅为RGB565的一半。灰度图保留了物体的亮度、边缘和纹理信息，适合形状识别、模板匹配、光学字符识别（OCR）等任务。在OpenMV中，灰度图可以直接用于边缘检测（如Canny算子）和形态学操作。

3.4.3 LAB：色彩与亮度的解耦

LAB色彩空间将亮度（L通道）与色彩（a、b通道）分离。OpenMV内部仍以RGB565存储，但提供了image.to_lab()方法进行转换。LAB空间的优势在于：a、b通道对光照变化不敏感，适合肤色检测、特定色域分割（如红色物体在a通道有显著响应）。代价是转换需要额外计算时间，且内存占用与RGB565相同。

色彩空间	内存/像素	转换耗时	光照鲁棒性	典型应用
RGB565	2字节	无	低	颜色识别、彩色CNN
灰度	1字节	低	中	形状检测、边缘提取
LAB	2字节	中	高	肤色检测、色域分割

3.5 实战案例：传送带上的彩色工件分类

假设我们需要在一条传送带上识别红色、蓝色和金属银色的圆形工件，并统计数量。传送带速度约为0.2m/s，工件直径约3cm，相机垂直安装于传送带上方30cm处。

初始参数选择：

• 分辨率：QVGA（320×240），因为工件在画面中约占50×50像素，足够分类。
• 帧率：20 FPS，传送带速度下工件在相邻帧间位移约1cm，不会产生严重运动模糊。
• 色彩空间：RGB565，因为需要区分红、蓝、银三种颜色。

实际调试过程：

import sensor, image, time

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.set_auto_exposure(False, exposure_us=15000)  # 固定曝光，避免闪烁
sensor.set_auto_whitebal(False)  # 关闭自动白平衡，保持颜色一致性
sensor.skip_frames(30)  # 等待传感器稳定

# 定义颜色阈值（LAB空间）
red_threshold = (30, 100, 15, 127, 15, 127)    # L, A, B范围
blue_threshold = (30, 100, -127, -15, -127, -15)
silver_threshold = (100, 200, -10, 10, -10, 10)

while True:
    img = sensor.snapshot()
    red_blobs = img.find_blobs([red_threshold], pixels_threshold=200, area_threshold=200)
    blue_blobs = img.find_blobs([blue_threshold], pixels_threshold=200, area_threshold=200)
    silver_blobs = img.find_blobs([silver_threshold], pixels_threshold=200, area_threshold=200)
    
    # 绘制检测结果
    for blob in red_blobs:
        img.draw_rectangle(blob.rect(), color=(255,0,0))
        img.draw_string(blob.x(), blob.y()-10, "Red", color=(255,0,0))
    # 类似处理蓝色和银色...

遇到的问题与调整：

1. 颜色误检：银色工件在RGB空间下与白色背景接近，导致误检。解决方案：切换到LAB空间，发现银色的a、b通道接近0，而L通道较高，于是将阈值调整为(100, 200, -10, 10, -10, 10)，有效区分了银色与白色背景。
2. 曝光闪烁：传送带上的光照有轻微波动，自动曝光导致颜色阈值不稳定。通过固定曝光时间（15ms）并增加补光灯，解决了该问题。
3. 帧率不足：当同时检测三种颜色时，算法耗时约35ms，实际帧率降至约25 FPS。由于传送带速度不快，25 FPS仍满足需求，无需进一步优化。

结果对比：调整前红色工件识别准确率约85%，蓝色约90%，银色仅60%；调整后三种颜色准确率均达到98%以上，且误检率从5%降至0.5%。

3.6 常见误区与总结复盘

在图像采集环节，初学者常犯以下错误，需要特别注意：

• 误区一：分辨率越高越好。高分辨率导致帧率下降、内存紧张，且对算法精度提升有限。应根据目标尺寸和算法输入要求选择合适分辨率。
• 误区二：忽略曝光时间的影响。在低光环境下，自动曝光会延长曝光时间，导致帧率骤降。应优先考虑补光，而非依赖自动曝光。
• 误区三：色彩空间选择随意。灰度图无法进行颜色识别，RGB565在光照变化下不稳定，LAB空间虽然鲁棒但需要额外转换时间。应根据任务特性选择。
• 误区四：不关注帧缓冲大小。OpenMV的内存有限（通常512KB-1MB），过大的帧缓冲会导致内存不足，系统自动降低分辨率或报错。

本章核心要点回顾：

1. 图像采集链路为：传感器 → ISP → 帧缓冲 → 算法处理，理解链路有助于定位图像问题。
2. 分辨率、帧率、色彩空间三者相互制约，必须根据应用场景综合权衡。
3. 固定曝光和关闭自动白平衡是工业场景下保证图像一致性的有效手段。
4. LAB空间在光照变化环境下具有更好的鲁棒性，但需要权衡转换开销。

掌握这些基础后，下一阶段我们将进入图像预处理与特征提取的学习，届时会用到本章设置的图像参数作为输入。