3、图像采集与显示基础：学习使用sensor模块配置分辨率、帧率、像素格式，并实现实时图像预览与保存

在OpenMV机器视觉项目中，图像采集是一切算法处理的前提。无论是缺陷检测、颜色识别还是位置定位，最终都依赖于从传感器（sensor）获取高质量、符合需求的图像数据。本章将深入剖析OpenMV的sensor模块，讲解如何配置分辨率、帧率与像素格式，并实现实时预览与图像保存。理解这些基础操作，是后续构建工业检测原型的第一道门槛。

3.1 sensor模块核心原理与初始化流程

OpenMV的sensor模块是对底层摄像头驱动（通常为OV7725或OV2640）的封装。其核心原理是通过I2C总线对传感器寄存器进行配置，控制感光阵列的采样窗口、输出格式以及时钟分频。初始化流程必须遵循固定顺序：先调用sensor.reset()复位传感器到默认状态，再设置像素格式和帧大小，最后进行镜像/翻转等几何校正。任何跳过reset的配置都可能导致寄存器状态残留，产生图像色彩异常或分辨率错乱。

像素格式决定了每个像素占用的位宽和色彩编码方式。GRAYSCALE使用8位灰度值，适合做形状检测和边缘提取；RGB565使用16位（R占5位，G占6位，B占5位），色彩还原度好，是颜色识别的基础；JPEG格式则通过硬件压缩减少存储和传输带宽，但会丢失部分细节，不适合像素级精确分析。分辨率与帧率存在制约关系：分辨率越高，单帧数据量越大，帧率相应下降。例如在QVGA（320×240）RGB565格式下，OpenMV4 H7可以稳定运行50FPS，而VGA（640×480）下帧率会降至25FPS左右。

import sensor, image, time

sensor.reset()                          # 复位传感器
sensor.set_pixformat(sensor.RGB565)     # 设置像素格式为RGB565
sensor.set_framesize(sensor.QVGA)       # 设置分辨率为320x240
sensor.set_vflip(True)                  # 垂直翻转（根据安装方向调整）
sensor.set_hmirror(False)               # 水平镜像（根据安装方向调整）
sensor.skip_frames(time=2000)           # 跳过2秒帧，等待自动曝光/白平衡稳定
sensor.set_auto_gain(False)             # 关闭自动增益（工业检测建议固定）
sensor.set_auto_whitebal(False)         # 关闭自动白平衡（固定色温环境）

在工业检测场景中，建议关闭自动增益和自动白平衡，因为环境光照相对固定，自动调节会导致同一物体在不同时刻采集的图像亮度、色偏不一致，严重影响后续颜色阈值判断的稳定性。

3.2 分辨率、帧率与像素格式的选型策略

选型需要根据检测任务的具体需求进行权衡。下表列出了常见配置组合及其适用场景：

选择分辨率时还需考虑镜头视场角与检测精度的匹配。如果视野范围是50mm×40mm，使用QVGA分辨率，则每个像素对应的物理尺寸约为0.156mm，能够分辨的最小缺陷约为0.3mm（2个像素）。若需要检测更小的缺陷，应提高分辨率或缩小视野，而不是单纯依赖算法放大。

3.3 实时图像预览与显示技术

OpenMV支持两种实时预览方式：通过IDE的帧缓冲区查看器（USB虚拟串口传输）和通过LCD显示屏模块。IDE预览适合开发调试阶段，其原理是将采集到的图像通过USB以JPEG或原始RGB格式压缩后传输到PC端显示，帧率受限于USB带宽，通常为15-25FPS。LCD预览则适合现场部署，OpenMV官方LCD模块通过SPI接口通信，刷新率可达30FPS以上，且不占用USB带宽。

实现LCD预览需要初始化SPI屏幕并绑定显示回调：

import sensor, image, lcd

lcd.init()                      # 初始化LCD
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=1000)

while True:
    img = sensor.snapshot()     # 采集一帧
    lcd.display(img)            # 显示到LCD

在工业检测原型中，LCD预览常用于现场调试——操作人员需要实时看到摄像头视野，以便调整安装位置和角度。但需要注意，LCD显示会占用约20%的CPU资源，如果算法处理时间紧张，可以降低LCD刷新频率（例如每采集3帧显示1帧）。

3.4 图像保存：SD卡存储与格式选择

图像保存是缺陷检测中记录证据、建立数据集的关键环节。OpenMV通过image.save()方法将图像写入SD卡，支持BMP、JPG、PNG等格式。BMP无压缩但体积大，适合需要无损分析的场景；JPG体积小但存在压缩伪影；PNG无损压缩，兼顾质量和体积，是工业检测推荐格式。

批量保存时需要注意文件名管理和写入时序。SD卡写入是阻塞操作，一张QVGA的JPEG图像（约30KB）写入时间约为30-50ms，这会直接影响检测节拍。解决方案是采用双缓冲策略：在检测循环中，先采集图像到缓冲区A，处理完成后立即保存，同时采集下一帧到缓冲区B，实现采集与保存的流水线并行。

import sensor, image, pyb

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=2000)

count = 0
while True:
    img = sensor.snapshot()
    # 缺陷检测逻辑...
    if defect_detected:
        filename = "/sd/defect_%04d.jpg" % count
        img.save(filename, quality=90)   # quality参数控制JPEG压缩率
        count += 1
        print("Saved:", filename)

3.5 案例拆解：传送带上的零件颜色分拣原型

背景与约束：某电子厂需要将传送带上的红色、蓝色、黑色三种塑料外壳零件自动分拣到不同料箱。传送带速度0.5m/s，零件最小尺寸20mm×15mm，检测区域宽度200mm。要求检测节拍不低于20件/分钟，且误检率低于1%。

初始现象与目标：使用OpenMV4 H7 Plus，镜头焦距6mm，工作距离300mm。初始配置为RGB565 + VGA分辨率，帧率仅12FPS，且由于传送带运动导致图像模糊，颜色识别不稳定。

关键参数分析：

• 视场计算：200mm宽视野在300mm工作距离下，VGA分辨率（640×480）对应每像素0.3125mm，零件最小尺寸20mm对应64像素，满足识别要求。
• 运动模糊：传送带速度0.5m/s，曝光时间需小于1/（0.5×64）≈31ms，实际设置曝光10ms可接受。
• 帧率瓶颈：VGA RGB565帧率12FPS，意味着每帧间隔83ms，零件在帧间移动41.5mm，可能漏检。

优化操作步骤：

1. 将分辨率降至QVGA（320×240），帧率提升至30FPS，每帧间隔33ms，零件移动16.5mm，配合曝光10ms可保证图像清晰。
2. 关闭自动增益和白平衡，固定曝光时间10ms，增益设为1.0，确保颜色一致性。
3. 设置ROI（感兴趣区域）为图像中央200×150像素区域，减少处理时间。
4. 使用LAB颜色空间进行阈值分割，分别设定红、蓝、黑的L/A/B阈值范围。
5. 增加触发信号：使用GPIO外接触发传感器，当零件到达检测位置时触发采集，避免连续采集浪费算力。

结果对比：优化后帧率30FPS，检测节拍达到25件/分钟，误检率0.3%。通过保存缺陷图像（颜色识别失败或未分类的零件）到SD卡，后续分析发现主要误检原因是黑色零件表面反光导致L值偏高，通过增加偏振片和调整阈值后进一步降低至0.1%。

风险与代价：降低分辨率后，最小可分辨缺陷从0.3mm变为0.6mm，对于表面划痕检测能力下降。如果后续需要同时检测划痕，需考虑使用双相机方案或提高分辨率并接受帧率下降。

复盘经验：工业检测中，分辨率、帧率、曝光三者是相互制约的三角关系。优先保证曝光时间满足运动模糊要求，再根据检测精度需求选择最低可接受分辨率，最后通过ROI和触发采集提升有效帧率。颜色检测务必在固定光照下进行，关闭所有自动调节功能。

3.6 常见误区与总结复盘

误区一：盲目追求高分辨率。很多初学者认为分辨率越高检测越准，忽略了帧率下降和内存不足的问题。OpenMV4 H7的RAM为512KB，VGA RGB565单帧占用614KB，无法直接处理，必须使用JPEG格式或降低分辨率。

误区二：忽略传感器方向校正。摄像头安装角度不同，图像可能是倒置或镜像的。未设置set_vflip和set_hmirror会导致后续坐标计算全部错误。建议在初始化后拍摄一张已知方向的目标图进行验证。

误区三：在自动模式下进行颜色阈值标定。如果开启自动白平衡，当环境光线变化或视野中出现大面积色块时，白平衡会漂移，导致同一颜色在不同时刻的RGB值差异巨大。工业场景必须固定增益和白平衡。

误区四：保存图像阻塞主循环。直接在主循环中调用img.save()会阻塞20-50ms，导致帧率骤降。应使用定时保存或双缓冲机制，将保存操作放到独立线程或降低保存频率。