4、图像采集与显示：学习使用sensor模块配置摄像头分辨率、帧率、颜色模式，并实时显示图像

OpenMV 视觉项目的起点是图像采集。无论后续执行二维码识别、颜色追踪还是深度学习推理，摄像头输出的原始图像质量与采集参数直接决定了算法的上限。本章围绕 sensor 模块，系统讲解分辨率、帧率、颜色模式三大核心参数的配置逻辑，以及如何通过 IDE 的帧缓冲区实时观察图像。理解这些底层机制，是后续编写稳定、高效的视觉代码的前提。

4.1 核心原理：sensor 模块与图像采集链路

OpenMV 的 sensor 模块是连接底层摄像头硬件与上层图像处理算法的桥梁。以 OpenMV Cam H7 Plus 为例，其搭载的 OV7725 感光芯片通过 DVP 并行接口将原始 Bayer 格式数据传递给 STM32H7 单片机内部的 DCMI 外设。DCMI 负责将并行数据打包为帧，并写入 MCU 的 RAM 中，形成帧缓冲区（Frame Buffer）。用户代码通过 sensor.snapshot() 获取当前帧的 Image 对象，该对象指向帧缓冲区的内存地址，后续所有图像处理操作（如 find_qrcodes()）都直接在该内存区域上进行读写。

理解这条链路的关键在于：分辨率、帧率、颜色模式并非独立参数，它们共同受限于 MCU 的处理能力、内存带宽和感光芯片的时钟频率。例如，将分辨率从 640×480 降低到 320×240，像素总量减少为原来的 1/4，帧缓冲区内存占用从 614KB 降至 154KB（RGB565 格式下），同时 DCMI 传输的数据量也大幅减少，从而允许更高的帧率或更长的曝光时间。这种“资源权衡”是嵌入式视觉系统设计的核心思维。

4.2 操作流程：标准初始化与实时显示

图像采集的初始化遵循固定顺序，任何一步缺失或顺序颠倒都可能导致摄像头无法正常工作。以下是经过验证的标准配置流程：

1. 复位摄像头：调用 sensor.reset()，将感光芯片寄存器恢复为默认状态，清除可能残留的异常配置。
2. 设置颜色模式：使用 sensor.set_pixformat(sensor.RGB565) 或 sensor.GRAYSCALE。RGB565 每个像素占 2 字节，灰度占 1 字节。
3. 设置分辨率：通过 sensor.set_framesize(sensor.QVGA) 指定帧尺寸。分辨率越大，单帧数据量越大，处理耗时越长。
4. 设置帧率：调用 sensor.set_framerate(30) 设定目标帧率。实际帧率受曝光时间影响，若曝光过长，实际帧率会低于设定值。
5. 跳过预热帧：使用 sensor.skip_frames(time=2000) 等待 2 秒，让摄像头自动调整白平衡和曝光参数，避免前几帧图像过暗或偏色。

import sensor
import time

# 初始化摄像头
sensor.reset()
sensor.set_pixformat(sensor.RGB565)   # 彩色模式
sensor.set_framesize(sensor.QVGA)     # 320×240
sensor.set_framerate(30)              # 目标 30fps
sensor.skip_frames(time=2000)         # 等待自动曝光稳定

# 主循环：持续采集并显示
while True:
    img = sensor.snapshot()           # 获取当前帧
    # 此处可添加图像处理代码，如 img.draw_rectangle(...)
    # IDE 会自动将 img 显示在帧缓冲区窗口

在 OpenMV IDE 中，sensor.snapshot() 返回的图像对象会自动刷新到右侧的“帧缓冲区”面板。若需要手动控制显示，可使用 img.to_grayscale() 转换颜色空间，或通过 img.compressed() 压缩后经串口发送。实时显示的本质是 IDE 通过 USB 读取 MCU 内存中的帧数据，因此帧率越高，IDE 预览的流畅度越好，但也会占用更多 USB 带宽。

4.3 案例拆解：二维码识别中的参数调优实战

假设我们需要设计一个二维码识别系统，用于流水线工件分拣。初始代码直接使用默认参数（VGA 分辨率、RGB565、无帧率限制），运行后发现识别速度仅 8fps，且偶尔出现漏检。通过分析，问题定位在以下环节：

• 分辨率过高：VGA（640×480）下，find_qrcodes() 需要扫描 30 万像素，耗时约 80ms。
• 颜色模式冗余：二维码本身是黑白图案，RGB565 携带的彩色信息对识别无帮助，反而增加内存带宽压力。
• 曝光时间过长：默认自动曝光在暗光环境下会拉长曝光时间，导致帧率下降。

针对上述问题，我们进行如下调优：

1. 将分辨率降至 QVGA（320×240），像素量减少 75%，find_qrcodes() 耗时降至 25ms。
2. 切换为 sensor.GRAYSCALE 模式，内存占用减半，且灰度图像对二维码边缘检测更友好。
3. 设置 sensor.set_auto_exposure(False) 并手动设定曝光值 sensor.set_exposure_microseconds(15000)，固定曝光时间，避免帧率波动。

sensor.reset()
sensor.set_pixformat(sensor.GRAYSCALE)  # 灰度模式
sensor.set_framesize(sensor.QVGA)       # 320×240
sensor.set_framerate(50)                # 目标 50fps
sensor.skip_frames(time=1000)

# 关闭自动曝光，固定曝光时间
sensor.set_auto_exposure(False)
sensor.set_exposure_microseconds(15000)

while True:
    img = sensor.snapshot()
    codes = img.find_qrcodes()
    if codes:
        print("识别到:", codes[0].payload())

调优后，系统帧率稳定在 45fps，识别成功率提升至 99.5%。代价是视野范围缩小（QVGA 比 VGA 窄），但通过调整摄像头安装高度即可覆盖相同区域。此案例说明：参数配置不是越大越好，而是根据算法需求反向推导最优值。

4.4 常见误区与总结复盘

在实际教学中，学生常犯以下错误，导致图像显示异常或识别失败：