4. OpenMV图像采集与显示

OpenMV智能车项目的视觉感知链路中，图像采集与显示是最基础也最关键的环节。摄像头初始化参数直接决定后续巡线、路标识别和避障算法的输入质量；帧率设置影响控制系统的实时响应；图像预览与保存则是调试算法、验证阈值的必要手段。本章围绕OpenMV Cam（以H7 Plus为例）的摄像头驱动、图像输出与调试方法展开，帮助学习者建立从“看到图像”到“用好图像”的完整认知。

4.1 摄像头初始化：从硬件到sensor对象

OpenMV的摄像头模组通过DVP（Digital Video Port）接口与主控芯片连接，控制信号走I2C总线。在MicroPython环境中，sensor模块封装了底层寄存器操作，开发者只需调用几个关键函数即可完成初始化。初始化顺序至关重要：先复位摄像头，再设置像素格式，然后设定分辨率，最后进行镜像/翻转校正。

import sensor
import time

# 摄像头初始化标准流程
sensor.reset()                          # 复位摄像头，恢复默认寄存器
sensor.set_pixformat(sensor.RGB565)     # 设置像素格式：RGB565或GRAYSCALE
sensor.set_framesize(sensor.QQVGA)      # 设置分辨率：160x120
sensor.set_vflip(True)                  # 垂直翻转（根据安装方向调整）
sensor.set_hmirror(False)               # 水平镜像（根据安装方向调整）
sensor.set_auto_gain(False)             # 关闭自动增益，固定曝光
sensor.set_auto_whitebal(False)         # 关闭自动白平衡
sensor.skip_frames(30)                  # 跳过前30帧，等待传感器稳定

像素格式的选择直接影响后续算法性能。RGB565每个像素占2字节，色彩信息完整，适合路标识别中需要区分红、蓝、黄等颜色的场景；GRAYSCALE每个像素仅1字节，帧率更高、内存占用减半，适合纯巡线场景。分辨率方面，QQVGA（160×120）是智能车项目的常用选择——它既能提供足够的细节用于识别路标，又能保证30fps以上的帧率。

4.2 帧率设置与性能权衡

帧率（FPS）决定了智能车控制系统的响应带宽。OpenMV的帧率受三个因素制约：传感器输出能力、图像处理耗时、数据传输带宽。在H7 Plus上，QQVGA分辨率下RGB565格式的理论最大帧率约为50fps，但实际帧率往往受限于算法复杂度。

帧率设置的核心原则是“够用就好”。对于巡线任务，30fps已经足够——智能车速度通常在0.5~1.5m/s，30fps意味着每帧对应3~5cm的位移，完全在PID控制的响应范围内。盲目追求高帧率会压缩算法执行时间，导致图像处理质量下降。建议在代码中实时监控帧率：

import sensor
import time

clock = time.clock()
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QQVGA)
sensor.skip_frames(30)

while True:
    clock.tick()
    img = sensor.snapshot()          # 采集一帧图像
    # 在此处添加巡线/识别算法
    fps = clock.fps()                # 计算当前帧率
    print("FPS: %.1f" % fps)

4.3 图像预览与保存：调试的“眼睛”

图像预览是调试算法的基础。OpenMV IDE提供两种预览方式：帧缓冲区（Frame Buffer）和JPEG压缩流。帧缓冲区显示原始图像，适合观察细节；JPEG流通过USB传输，帧率较低但便于远程查看。在IDE中点击“连接”后，右下角的帧缓冲区窗口会实时显示摄像头画面，同时可以打开“直方图”工具查看灰度分布或RGB通道分布。

保存图像用于离线分析是调试的重要环节。OpenMV支持将图像保存到SD卡或内置Flash，格式支持JPEG和BMP。JPEG体积小但会引入压缩伪影，适合保存场景照片；BMP无损但占用空间大，适合保存需要精确像素分析的图像。

import sensor
import time

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QQVGA)
sensor.skip_frames(30)

# 保存当前帧到SD卡
img = sensor.snapshot()
img.save("/capture_%d.jpg" % time.ticks_ms())

# 批量保存用于建立数据集
for i in range(10):
    img = sensor.snapshot()
    img.save("/dataset/sample_%d.jpg" % i)
    time.sleep_ms(200)

4.4 调试技巧：从图像到结论的闭环

图像调试的核心方法论是“先看后算”——先用眼睛观察图像特征，再编写算法提取这些特征。具体调试流程包括：第一步，通过IDE预览确认摄像头安装角度、光照条件是否合适；第二步，使用直方图工具分析目标区域的颜色分布或灰度范围；第三步，根据分析结果设定阈值参数；第四步，运行算法并观察输出结果；第五步，根据结果微调参数。

一个实用的调试技巧是利用img.draw_*系列函数在图像上叠加可视化信息。例如，在巡线算法中，可以在检测到的线段上画绿色线条，在路标区域画红色矩形框。这样在IDE预览中就能直观看到算法的“理解结果”，快速定位问题。

import sensor
import image

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QQVGA)
sensor.skip_frames(30)

while True:
    img = sensor.snapshot()
    
    # 假设检测到一条线段
    line = (50, 60, 110, 60)  # (x1, y1, x2, y2)
    img.draw_line(line, color=(0, 255, 0), thickness=2)
    
    # 假设检测到一个路标区域
    roi = (40, 30, 80, 60)    # (x, y, w, h)
    img.draw_rectangle(roi, color=(255, 0, 0), thickness=2)
    
    # 在图像上显示帧率
    img.draw_string(5, 5, "FPS: %.1f" % clock.fps(), color=(255, 255, 0))

4.5 案例拆解：巡线阈值标定中的图像调试

背景与目标：某智能车团队需要标定黑色引导线的灰度阈值。赛道为白色底板+黑色线条，但现场灯光不均匀，部分区域有反光。目标是在不同光照条件下都能稳定提取黑色线条。

初始现象：使用固定阈值THRESHOLD = (0, 40)进行二值化，发现图像上半部分线条提取正常，下半部分因反光导致线条断裂。通过IDE预览观察到，反光区域的灰度值从正常的20~30升高到60~80。

分析过程：团队使用直方图工具分别统计了正常区域和反光区域的灰度分布。正常区域黑色线条灰度集中在15~35，白色底板集中在180~230；反光区域黑色线条灰度上升到50~70，底板上升到200~240。这说明固定阈值无法适应空间变化的光照。

解决方案：采用“分区阈值”策略——将图像按行分为上下两个区域，上半部分使用(0, 40)，下半部分使用(0, 80)。同时开启sensor.set_auto_gain(True)让摄像头自动适应整体光照变化，但保留手动白平衡以保证颜色一致性。

结果对比：修改后，线条提取完整率从78%提升到96%，巡线速度从0.6m/s提升到0.9m/s。代价是算法增加了约2ms的处理时间，但帧率仍保持在35fps以上。

复盘经验：图像调试不能只看算法输出，必须回到图像本身找原因。直方图工具是定位阈值问题的利器；分区处理是应对空间光照不均的有效手段；自动增益和手动白平衡的组合使用，可以在动态环境中保持图像稳定。

4.6 常见误区与总结

本章从摄像头初始化、帧率控制、图像预览与保存、调试技巧四个维度，系统梳理了OpenMV图像采集与显示的完整链路。掌握这些基础操作，是后续实现巡线、路标识别和避障联动的前提。在实际项目中，建议按照“初始化→预览→调试→固化”的流程推进，每一步都通过图像反馈验证效果，避免在错误的基础上叠加算法。