4、OV2640传感器原理：感光原理、像素阵列、Bayer滤波与图像输出格式

OV2640是OmniVision公司推出的一款低功耗、高集成度的CMOS图像传感器，广泛应用于K210开发板、ESP32-CAM等嵌入式视觉平台。要真正掌握摄像头调试，不能只停留在“调用库函数”的层面，而必须理解传感器内部是如何将光子转换为数字信号的。本章将从感光原理、像素阵列结构、Bayer色彩滤波阵列（CFA）以及图像输出格式（RGB565、YUV422等）四个维度展开，帮助你建立从“光信号”到“内存中的像素数据”的完整链路认知。

4.1 感光原理：从光子到电子的转换

OV2640采用CMOS（互补金属氧化物半导体）工艺制造，其核心感光单元是光电二极管。每个像素点本质上是一个PN结，当外界光线照射到像素表面时，光子能量激发硅材料中的电子跃迁，产生电子-空穴对。在反向偏置电压的作用下，光生电子被收集到像素的浮置扩散区（FD），形成与光照强度成正比的电荷量。

这一过程可以用以下关键参数来理解：

• 量子效率（QE）：入射光子转化为电子的比例，OV2640在550nm绿光波段QE约为40%-50%，在红外波段衰减明显。
• 满阱容量（Full Well Capacity）：像素能容纳的最大电子数，OV2640单像素满阱约51,000 e⁻，决定了动态范围。
• 灵敏度：单位光照下产生的电压或数字值，OV2640典型灵敏度为1.3 V/lux·s。
• 暗电流：无光照时因热激发产生的漏电流，OV2640在25°C时暗电流约60 mV/s，长时间曝光时会产生热噪声。

在K210实际调试中，理解感光原理有助于判断图像过暗或过亮的原因。例如，当环境光线不足时，单纯提高数字增益（AGC）会放大噪声，而适当增加曝光时间（通过寄存器设置）能更有效地提升信噪比。但曝光时间过长会导致运动物体拖影，这就是感光原理与工程调优的直接关联。

4.2 像素阵列与Bayer色彩滤波阵列

OV2640的像素阵列为1600×1200（200万像素），但实际有效像素为1616×1232，其中边缘像素用于黑电平校准。每个像素只能感知光的强度，无法区分颜色。为了获得彩色图像，传感器在像素表面覆盖了一层微透镜和色彩滤波阵列（CFA），最常用的就是Bayer模式。

Bayer阵列的排列规律是：每一行交替排列G-R或G-B，即每2×2像素单元包含1个红色（R）、2个绿色（G）、1个蓝色（B）像素。绿色像素数量是红蓝的两倍，这是因为人眼对绿色最敏感，且绿色在亮度信息中占比最高（约59%）。

由于每个像素只记录了单一颜色信息，必须通过插值算法（去马赛克）恢复每个像素的RGB三通道值。OV2640内置的ISP会执行双线性插值或更复杂的边缘自适应插值。在K210平台上，如果直接读取原始Bayer数据（RAW格式），则需要软件实现插值，这会消耗大量CPU资源。因此，实际开发中通常让OV2640的ISP直接输出处理后的RGB或YUV数据。

4.3 图像输出格式：RGB565与YUV422详解

OV2640支持多种输出格式，K210的DVP接口最常用的是RGB565和YUV422。理解这两种格式的存储结构和适用场景，是调试摄像头显示效果的基础。

4.3.1 RGB565格式

RGB565使用16位（2字节）表示一个像素，其中高5位为红色（R），中间6位为绿色（G），低5位为蓝色（B）。这种格式的优势是数据量小、无需转换即可直接用于LCD显示（K210的LCD控制器原生支持RGB565）。

// RGB565 内存布局（大端模式）
// 高字节: R[4:0] | G[5:3]
// 低字节: G[2:0] | B[4:0]
uint16_t rgb565 = (r & 0x1F) << 11 | (g & 0x3F) << 5 | (b & 0x1F);

在K210的MaixPy中，sensor.set_pixformat(sensor.RGB565) 即配置此格式。RGB565的缺点是色彩深度有限，在渐变天空等场景可能出现色带（banding）。

4.3.2 YUV422格式

YUV422（又称YCbCr 4:2:2）将亮度信号（Y）与色度信号（Cb/Cr）分离，每两个像素共享一组色度信息。具体存储顺序为：Y0 U0 Y1 V0，即每4字节表示2个像素。Y分量占8位，U和V各占8位但每两个像素共用一次。

YUV422的优势在于：

• 人眼对亮度变化比对颜色变化更敏感，因此色度降采样对视觉影响小。
• 便于后续进行JPEG压缩（JPEG内部使用YCbCr色彩空间）。
• 在K210上，YUV422可直接用于人脸识别等视觉算法，因为很多算法只使用Y分量（灰度图）。

从YUV422转换到RGB565的公式如下：

R = Y + 1.402 * (V - 128)
G = Y - 0.344 * (U - 128) - 0.714 * (V - 128)
B = Y + 1.772 * (U - 128)

4.4 分辨率与图像方向的处理机制

OV2640支持从1600×1200到40×30的多种分辨率输出。分辨率调整有两种方式：窗口裁剪（Crop）和缩放（Scale）。窗口裁剪只读取传感器阵列的一部分区域，不改变像素大小；缩放则通过ISP将整个视场缩小到目标尺寸。

在K210上，sensor.set_framesize(sensor.QVGA) 将输出320×240分辨率。此时OV2640内部会先进行窗口选择，再进行缩放。理解这一点对调试视角范围很重要：如果使用裁剪模式，视场角会变小（等效焦距变长）；如果使用缩放模式，视场角不变但分辨率降低。

图像方向处理涉及镜像（Mirror）和翻转（Flip）两个操作。OV2640的寄存器0x32的BIT2控制镜像（水平翻转），BIT1控制垂直翻转。在K210的MaixPy中，通过 sensor.set_hmirror(True) 和 sensor.set_vflip(True) 设置。当摄像头安装方向与预期不一致时，需要组合使用这两个功能。

4.5 案例拆解：K210上配置OV2640输出RGB565并修正图像方向

下面通过一个实际调试案例，展示如何将OV2640配置为RGB565输出、QVGA分辨率，并修正因安装方向导致的图像颠倒问题。

背景与约束：某智能小车项目使用K210作为主控，OV2640摄像头通过排线连接，摄像头模组倒置安装在车头。初始上电后，LCD屏幕显示的图像上下颠倒、左右反向，且颜色偏绿。

初始现象与关键参数：

• MaixPy IDE 版本：0.6.2
• K210开发板：Sipeed Maix Dock
• 摄像头初始化代码：sensor.reset() → sensor.set_pixformat(sensor.RGB565) → sensor.set_framesize(sensor.QVGA)
• LCD显示：使用 lcd.display(img) 直接显示

分析判断过程：

1. 颜色偏绿：检查发现初始化代码中未设置白平衡，OV2640默认的自动白平衡（AWB）在低色温环境下失效。通过 sensor.set_auto_whitebal(True) 强制开启AWB，颜色恢复正常。
2. 图像颠倒：由于摄像头倒置，需要同时启用水平镜像和垂直翻转。查阅OV2640数据手册，确认寄存器0x32的BIT2（HMIRROR）和BIT1（VFLIP）分别控制这两个功能。
3. 分辨率确认：QVGA（320×240）下，OV2640实际输出的是缩放后的图像，视场角与VGA（640×480）一致，但细节减少。对于小车避障场景，QVGA足够且处理速度更快。

实际操作步骤：

import sensor, lcd, time

# 初始化摄像头
sensor.reset()
sensor.set_pixformat(sensor.RGB565)   # 输出RGB565格式
sensor.set_framesize(sensor.QVGA)     # 320×240分辨率
sensor.set_auto_whitebal(True)        # 开启自动白平衡
sensor.set_hmirror(True)              # 水平镜像修正
sensor.set_vflip(True)                # 垂直翻转修正

# 初始化LCD
lcd.init()
lcd.set_direction(lcd.YX_LRTD)        # 根据LCD安装方向调整

# 主循环
while True:
    img = sensor.snapshot()           # 采集一帧图像
    lcd.display(img)                  # 显示到LCD
    time.sleep_ms(50)

结果对比：修改前，LCD显示的画面上下颠倒、左右反向，且整体偏绿；修改后，画面方向正确，颜色自然。帧率从修改前的约25fps提升到30fps（因为关闭了不必要的自动曝光调试）。

风险与代价：开启自动白平衡后，在快速移动场景下白平衡可能短暂漂移，导致颜色闪烁。如果项目对颜色一致性要求高，建议固定白平衡参数（通过 sensor.set_whitebal() 手动设置RGB增益）。

复盘经验：调试摄像头时，应按照“先格式、再分辨率、后方向”的顺序逐步验证。每次只修改一个参数，观察效果变化，避免多个变量同时调整导致无法定位问题。同时，务必查阅OV2640数据手册的寄存器映射表，而不是盲目猜测。

4.6 常见误区与总结复盘

在OV2640的调试过程中，以下误区值得特别注意：

• 误区一：认为分辨率越高越好。在K210上，高分辨率会显著降低帧率并占用更多内存。例如，SVGA（800×600）在RGB565下每帧需要960KB，而K210的RAM仅有8MB，同时运行其他算法时容易内存不足。应根据实际需求选择分辨率。
• 误区二：忽略像素格式与显示设备的匹配。如果LCD只支持RGB565，而摄像头输出YUV422，则需要额外的转换步骤，增加CPU负担。尽量保持摄像头输出格式与显示/算法需求一致。
• 误区三：混淆镜像与翻转。镜像（Mirror）是水平方向的反转，翻转（Flip）是垂直方向的反转。两者组合可以实现四种方向状态，但很多开发者只设置其中一个，导致画面仍然不对。
• 误区四：忽视Bayer RAW格式的存在。OV2640可以输出RAW Bayer数据，但K210的DVP接口通常不直接支持RAW格式采集。如果确实需要RAW数据，需要额外的硬件支持，且软件插值会消耗大量资源。