📚 课程目录第3章图像基础与色彩空间

3、图像基础与色彩空间：理解像素、分辨率、灰度图、RGB565、LAB色彩空间及其在OpenMV中的表示

在开始人脸检测项目之前，我们必须先建立对图像数据的基本认知。OpenMV摄像头采集到的每一帧画面，本质上是一个由大量像素点组成的二维数组，而每个像素点的颜色信息则通过特定的色彩空间进行编码。本章将系统讲解像素与分辨率的概念、灰度图与RGB565的存储格式、LAB色彩空间的物理意义，以及这些知识在OpenMV IDE调试窗口中的具体呈现方式。只有理解了这些底层机制，你才能准确判断摄像头采集的图像质量，并为后续Haar特征检测的参数调优打下坚实基础。

3.1 像素与分辨率：图像的最小单元与整体尺度

像素（Pixel）是构成数字图像的最小单位，每个像素对应传感器感光阵列上的一个物理感光点。在OpenMV Cam H7 Plus上，OV5640传感器最大支持2592×1944分辨率，但实际使用时通常设置为320×240（QQVGA）或640×480（VGA）。分辨率则指图像在水平和垂直方向上的像素数量，它直接决定了图像的细节丰富程度和数据处理量。

从工程角度看，分辨率的选择需要权衡三个因素：检测精度、处理帧率和内存占用。以人脸检测为例，Haar级联分类器在320×240分辨率下，OpenMV H7 Plus可以稳定运行约15-20 FPS；若提升到640×480，帧率会下降到5-8 FPS，但检测框的定位精度会明显提高。这是因为Haar特征模板在更高分辨率下能匹配到更多细节纹理。

  关键公式：图像数据量（字节）= 宽度 × 高度 × 每像素字节数。例如RGB565格式下，320×240图像占用 320×240×2 = 153,600字节 ≈ 150KB。OpenMV的帧缓冲区通常为256KB，这意味着在RGB565模式下，最多只能缓存约1.7帧图像，因此合理选择分辨率至关重要。

3.2 灰度图：单通道亮度信息的压缩表达

灰度图（Grayscale）将每个像素的彩色信息压缩为单一亮度值，范围0-255，其中0代表纯黑，255代表纯白。在OpenMV中，灰度图使用sensor.GRAYSCALE像素格式，每个像素仅占用1字节内存。灰度图的核心优势在于：数据量小、处理速度快，且对于Haar特征检测而言，亮度梯度信息已经足够描述人脸轮廓特征。

OpenMV内部将RGB图像转换为灰度图时，采用标准亮度公式：Y = 0.299R + 0.587G + 0.114B。这个公式模拟了人眼对不同颜色的敏感度差异——绿色贡献最大，蓝色最小。在实际项目中，如果环境光照均匀且背景简单，直接使用灰度图可以显著提升检测帧率。但需要注意，灰度图丢失了颜色信息，当背景中存在与肤色亮度相近的物体时，误检率会上升。

# OpenMV中设置灰度图模式
import sensor
sensor.reset()
sensor.set_pixformat(sensor.GRAYSCALE)  # 设置为灰度图
sensor.set_framesize(sensor.QVGA)       # 320×240分辨率
sensor.run(1)

3.3 RGB565：16位高密度彩色编码

RGB565是一种16位彩色编码格式，将红色（R）分配5位、绿色（G）分配6位、蓝色（B）分配5位。绿色多分配1位是因为人眼对绿色最为敏感。这种格式在嵌入式视觉领域应用广泛，因为它能在有限的内存中提供较好的色彩还原度。OpenMV默认使用RGB565格式，每个像素占用2字节。

RGB565的数值范围：R（0-31）、G（0-63）、B（0-31）。当需要从RGB565提取各通道值时，可以使用位运算：

# 从RGB565像素值提取各通道
pixel = img.get_pixel(x, y)  # 返回16位整数值
r = (pixel >> 11) & 0x1F     # 取高5位
g = (pixel >> 5) & 0x3F      # 取中间6位
b = pixel & 0x1F              # 取低5位

在OpenMV IDE的帧缓冲区中，RGB565图像会以彩色方式显示，但实际存储的是压缩后的16位数据。对于人脸检测项目，RGB565的主要优势在于：如果后续需要结合肤色检测（如YCrCb空间）或颜色标记辅助定位，RGB565保留了足够的色彩信息。

3.4 LAB色彩空间：感知均匀的颜色描述

LAB色彩空间由国际照明委员会（CIE）制定，其设计目标是实现感知均匀性——即数值上的等量变化对应人眼感知上的等量变化。LAB包含三个通道：L（亮度，0-100）、A（绿-红轴，-128到127）、B（蓝-黄轴，-128到127）。与RGB不同，LAB将亮度信息与色彩信息完全分离，这使得它在光照变化环境下具有更好的鲁棒性。

在OpenMV中，LAB色彩空间通常用于颜色识别和跟踪。例如，肤色检测在LAB空间下比RGB空间更稳定，因为A和B通道对光照变化不敏感。OpenMV提供了img.to_lab()方法将图像转换为LAB格式，但需要注意，LAB转换计算量较大，会降低帧率。实际项目中，更常见的做法是使用sensor.set_pixformat(sensor.RGB565)采集图像，然后在算法中通过img.get_pixel()获取像素后手动转换，或者使用OpenMV的image.find_blobs()函数直接指定LAB阈值范围。

色彩空间	通道数	每像素字节	主要优势	适用场景
灰度图	1（Y）	1	数据量最小，处理最快	Haar人脸检测、边缘检测
RGB565	3（R/G/B）	2	色彩信息完整，内存适中	颜色识别、多目标跟踪
LAB	3（L/A/B）	3（转换后）	亮度与色彩分离，抗光照干扰	肤色检测、颜色阈值分割

3.5 OpenMV中的图像格式转换与调试技巧

OpenMV提供了灵活的格式转换API，开发者可以在运行时动态切换图像格式。核心函数包括：sensor.set_pixformat()设置采集格式，img.to_grayscale()、img.to_rgb565()、img.to_lab()进行图像转换。但需要注意，to_lab()转换后的图像无法直接显示在IDE中，需要先转换回RGB565才能可视化。

在调试阶段，建议使用OpenMV IDE的直方图工具和颜色阈值编辑器。直方图可以直观显示当前图像在L、A、B通道上的像素分布，帮助确定合适的阈值范围。例如，在肤色检测中，通过直方图观察A通道的分布，可以快速锁定肤色对应的A值区间（通常为20-60）。

调试经验：当使用LAB空间进行颜色阈值设定时，建议先拍摄一张包含目标物体的静态图像，然后在IDE中打开"工具→阈值编辑器"，选择LAB空间，拖动滑块观察二值化效果。记录下最佳阈值后，再写入代码。这样可以避免反复烧录固件调试的麻烦。

3.6 案例拆解：光照变化下的肤色检测优化

场景背景：某智能门禁项目需要检测人脸区域，但安装位置靠近窗户，一天中光照强度变化剧烈（从早晨的200 lux到正午的2000 lux）。初始方案使用RGB565格式直接进行肤色检测，结果在强光下肤色区域过曝，在弱光下肤色偏暗，检测框频繁丢失。

分析过程：通过OpenMV IDE的直方图工具观察发现，RGB空间下肤色像素的R、G、B值随光照变化波动极大，固定阈值无法覆盖所有光照条件。进一步测试LAB空间，发现L通道（亮度）变化明显，但A、B通道（色彩）相对稳定。肤色在A通道的分布集中在20-50，B通道集中在10-30。

解决方案：将图像采集格式保持为RGB565（便于IDE显示），但在算法中增加LAB转换步骤，并采用动态L通道补偿策略：

# 动态肤色检测示例
import sensor, image, time
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(30)

# 初始LAB阈值（A/B通道固定，L通道动态调整）
lab_threshold = (30, 80, 20, 50, 10, 30)  # (L_min, L_max, A_min, A_max, B_min, B_max)

while True:
    img = sensor.snapshot()
    # 计算当前帧的平均亮度
    stats = img.get_statistics()
    avg_l = stats.l_mean()
    # 根据亮度动态调整L通道阈值
    l_min = max(20, avg_l - 25)
    l_max = min(90, avg_l + 25)
    dynamic_threshold = (l_min, l_max, 20, 50, 10, 30)
    # 执行颜色分割
    blobs = img.find_blobs([dynamic_threshold], pixels_threshold=200, area_threshold=200)
    for blob in blobs:
        img.draw_rectangle(blob.rect(), color=(255, 0, 0))

结果对比：优化前，肤色检测在强光下误检率约35%，弱光下漏检率约40%；优化后，误检率降至8%，漏检率降至5%。代价是每帧处理时间增加了约12ms（LAB转换开销），但整体帧率仍保持在12 FPS以上，满足门禁系统的实时性要求。

风险提示：LAB转换在OpenMV上是通过软件算法实现的，计算量较大。如果项目对帧率要求极高（如30 FPS以上），建议直接使用灰度图配合Haar检测，或者将LAB转换放在PC端处理。另外，动态L通道调整在极端低光照（<50 lux）下效果有限，此时应考虑补光或红外照明。

3.7 常见误区与总结复盘

误区一：分辨率越高越好。很多初学者认为高分辨率能提升检测精度，但忽略了帧率下降和内存溢出的风险。在OpenMV上，320×240是Haar检测的黄金分辨率，既能保证检测框稳定，又能维持流畅帧率。

误区二：RGB565和RGB888混为一谈。RGB565的每个通道位数有限，直接使用RGB888的阈值（如R>200）会导致错误。必须将阈值转换为5位或6位范围，或者使用OpenMV的color_threshold工具自动计算。

误区三：忽视色彩空间的转换开销。在循环中频繁调用to_lab()会严重拖慢帧率。正确做法是：只在需要颜色分析时转换，或者使用img.get_pixel()获取单个像素进行转换，避免整帧转换。

总结：本章的核心是理解图像数据从传感器到算法的完整链路。像素和分辨率决定了数据规模，灰度图、RGB565和LAB空间则提供了不同维度的信息表达。在实际项目中，应根据检测目标、环境条件和性能要求，灵活选择色彩空间。对于人脸检测，灰度图+Haar是最高效的方案；对于肤色辅助检测，LAB空间更具鲁棒性。掌握这些基础，你就能在OpenMV平台上游刃有余地处理各种视觉任务。