4、OpenMV图像采集与显示：摄像头初始化、帧率控制、图像预览、保存图像、图像尺寸调整与裁剪

OpenMV作为嵌入式机器视觉平台，其图像采集与显示是所有视觉应用的基础。无论是颜色识别、二维码检测还是AI分类，第一步都是获取高质量的图像数据。本章将围绕摄像头初始化、帧率控制、图像预览、保存、尺寸调整与裁剪六个核心操作展开，帮助您建立对OpenMV图像管线的完整认知。我们将从底层驱动原理出发，逐步深入到代码实现与工程调试，确保您不仅会调用API，更能理解其背后的数据流与性能瓶颈。

上图展示了OpenMV图像采集与显示的核心管线。摄像头初始化是起点，帧率控制决定了采集速度，图像预览用于实时调试，保存图像用于数据持久化，而尺寸调整与裁剪则是优化处理效率的关键手段。下面我们将逐一深入每个环节。

4.1 摄像头初始化：从硬件复位到像素格式设定

摄像头初始化是OpenMV程序的第一步，其本质是配置OV7725或OV2640等感光芯片的工作状态。初始化不完整会导致图像偏色、花屏甚至无法采集。标准初始化流程包含以下步骤：

1. 传感器复位：调用sensor.reset()，将摄像头寄存器恢复为默认值，确保后续配置基于已知状态。
2. 像素格式设置：使用sensor.set_pixformat(sensor.RGB565)或sensor.GRAYSCALE。RGB565占用2字节/像素，色彩丰富但内存占用大；灰度图仅1字节/像素，适合形状识别和AI分类。
3. 帧尺寸设置：sensor.set_framesize(sensor.QVGA)（320×240）是最常用分辨率，兼顾细节与速度。VGA（640×480）适合高精度检测，但帧率会显著下降。
4. 镜像与翻转：sensor.set_vflip(True)和sensor.set_hmirror(True)用于调整图像方向，尤其在安装角度特殊时至关重要。
5. 白平衡与曝光：sensor.set_auto_whitebal(True)自动白平衡适合环境光变化场景；固定曝光sensor.set_auto_exposure(False)则用于光照稳定的工业检测。

4.2 帧率控制：平衡速度与图像质量

帧率（FPS）直接影响视觉系统的实时性。OpenMV的帧率受分辨率、像素格式、处理复杂度三重因素制约。下表给出了不同配置下的典型帧率参考值（基于OpenMV Cam H7 Plus实测）：

帧率控制的核心策略是按需分配。如果算法只需要检测一个区域，应优先使用img.crop()裁剪ROI，而不是降低全局分辨率。此外，sensor.set_windowing()函数可以直接设置传感器窗口，只读取感兴趣区域，从硬件层面减少数据传输量，这是提升帧率最有效的手段。

4.3 图像预览与显示：实时调试的利器

OpenMV IDE提供了帧缓冲区预览功能，但嵌入式场景中常需要外接LCD或通过串口发送图像。核心API是sensor.snapshot()，它返回当前帧的Image对象。预览调试时，我们通常会在图像上绘制辅助信息：

import sensor, image, lcd

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=2000)

lcd.init()  # 初始化LCD
while True:
    img = sensor.snapshot()  # 采集一帧
    # 在图像中心画十字线
    img.draw_line(img.width()//2, 0, img.width()//2, img.height(), color=(255,0,0))
    img.draw_line(0, img.height()//2, img.width(), img.height()//2, color=(255,0,0))
    # 绘制文本
    img.draw_string(10, 10, "FPS: %.1f" % (1000 / img.get_histogram().mean()), color=(0,255,0))
    lcd.display(img)  # 显示到LCD

预览时需要注意：snapshot()返回的是内部缓冲区引用，如果后续需要保存或修改，建议使用img.copy()创建副本，避免意外修改原始帧数据。此外，LCD显示会占用部分CPU资源，在帧率敏感的应用中，可以降低LCD刷新频率（如每3帧刷新一次）。

4.4 保存图像：数据持久化与训练集构建

保存图像是构建数据集、记录调试现场的重要手段。OpenMV支持将图像保存到SD卡或内置Flash。保存格式推荐JPEG（压缩率高）或BMP（无损）。以下是一个定时保存图像的案例：

import sensor, image, pyb

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=2000)

count = 0
while True:
    img = sensor.snapshot()
    # 每50帧保存一次
    if count % 50 == 0:
        # 生成带时间戳的文件名
        timestamp = pyb.millis()
        img.save("/sd/capture_%d.jpg" % timestamp, quality=90)
        print("Saved frame at %d ms" % timestamp)
    count += 1

4.5 图像尺寸调整与裁剪：ROI提取与性能优化

尺寸调整（resize）和裁剪（crop）是图像预处理的两大核心操作。裁剪用于提取感兴趣区域（ROI），减少背景干扰；调整尺寸用于统一输入大小，适配AI模型或降低计算量。

裁剪操作：img.crop(roi)接受一个元组(x, y, w, h)，返回新图像对象。例如，要提取图像中央1/4区域：

img = sensor.snapshot()
w = img.width() // 2
h = img.height() // 2
x = (img.width() - w) // 2
y = (img.height() - h) // 2
roi_img = img.crop((x, y, w, h))

尺寸调整：img.resize(w, h)会改变图像尺寸，但会丢失原始宽高比。若需保持比例，应先计算目标尺寸。对于AI模型输入，通常需要固定尺寸（如96×96）：

img = sensor.snapshot()
# 等比缩放后居中裁剪
scale = min(96 / img.width(), 96 / img.height())
new_w = int(img.width() * scale)
new_h = int(img.height() * scale)
resized = img.resize(new_w, new_h)
# 居中裁剪到96x96
x = (new_w - 96) // 2
y = (new_h - 96) // 2
final_img = resized.crop((x, y, 96, 96))

4.6 实战案例：基于ROI裁剪的色块追踪优化

某智能小车项目需要追踪红色小球，初始方案直接对全图进行颜色识别，帧率仅12FPS，且经常误识别背景中的红色物体。我们通过裁剪ROI和降低分辨率进行优化：

初始现象：全图QVGA RGB565，颜色阈值识别红色，帧率12FPS，误检率约15%。

分析过程：全图处理需要遍历320×240=76800个像素，且背景中红色区域干扰严重。通过串口打印img.get_histogram()发现，目标区域仅占全图的20%左右。

优化步骤：

1. 将分辨率降至QQVGA（160×120），帧率提升至25FPS。
2. 根据上一帧目标位置，动态设置ROI为上一帧位置扩大1.5倍的区域，裁剪后仅处理约40×40像素。
3. 在ROI内进行颜色识别，帧率提升至45FPS。
4. 增加面积过滤（blob.area() > 50），误检率降至2%以下。

结果对比：帧率从12FPS提升至45FPS，误检率从15%降至2%。代价是当目标快速移出ROI时会丢失目标，因此增加了全图扫描的兜底逻辑（每30帧全图检测一次）。

4.7 常见误区与总结

• 误区一：分辨率越高越好。高分辨率导致帧率下降，且对光照更敏感。应根据算法需求选择最低可用分辨率。
• 误区二：忽略镜像/翻转设置。安装角度不同会导致图像倒置，影响后续坐标映射。务必在初始化时确认图像方向。
• 误区三：频繁调用img.save()导致卡顿。保存操作耗时约50-100ms，应控制频率或使用异步保存。
• 误区四：裁剪后忘记更新坐标。ROI裁剪后，所有检测结果的坐标都是相对于ROI的，需要加上ROI原点偏移才能映射回原图。

本章从摄像头初始化到图像裁剪，构建了完整的图像采集与显示知识体系。掌握这些基础操作后，您将能够为后续的颜色识别、二维码检测和AI分类实验打下坚实的图像获取基础。在实际项目中，建议始终从帧率和内存占用两个维度评估图像处理管线的效率，并优先使用裁剪和降分辨率来优化性能。