4、图像采集基础：使用Arduino读取摄像头数据，理解像素、分辨率、色彩空间（RGB/YUV）等基本概念

当Arduino从单纯的传感器数据采集迈向视觉识别时，第一个关键门槛便是“图像采集”。与读取温度、距离等一维数值不同，图像数据是二维甚至三维的数组，其数据量、时序要求和格式复杂度都远超普通传感器。本章将围绕“如何让Arduino真正‘看见’”，深入剖析像素、分辨率与色彩空间三大核心概念，并给出在资源受限的MCU上高效读取摄像头数据的工程方法。

4.1 像素与分辨率：图像数据的最小单元与规模

像素（Pixel）是图像的最小组成单元，每个像素对应传感器感光阵列上的一个物理感光点。对于Arduino而言，像素意味着具体的内存占用：一个灰度像素通常占用1字节（8bit），而RGB565格式的彩色像素占用2字节（16bit）。当我们在代码中声明一个 uint8_t frame[320][240] 时，实际上就是在为一张QVGA灰度图像预留 320×240 = 76,800 字节的连续内存。

分辨率决定了图像的细节丰富度，但同时也直接决定了数据量。以常见的几种分辨率为例：

对于大多数Arduino开发板（如ESP32拥有520KB SRAM），QVGA灰度是性价比最高的选择。若使用RGB565，则153.6KB的帧缓冲已经占用了接近30%的内存，此时必须谨慎管理堆栈和全局变量。

4.2 色彩空间：RGB与YUV的工程选择

摄像头传感器输出的原始数据通常是Bayer阵列，经过ISP（图像信号处理器）后转换为标准色彩空间。在Arduino生态中，最常接触的是RGB565和YUV422两种格式。

RGB565使用16位表示一个像素：红色5位、绿色6位、蓝色5位。这种格式的优势是直接映射到TFT屏幕的显存布局，无需转换即可显示。但缺点是数据量较大，且对颜色变化的压缩效率低。

YUV422则将亮度（Y）与色度（U/V）分离，每两个像素共享一组UV值。这种设计的核心优势在于：人眼对亮度变化更敏感，对色度变化相对迟钝。因此YUV422能在保持视觉质量的同时减少约1/3的数据量。对于边缘检测、灰度化等预处理，直接提取Y分量即可，无需完整转换。

// YUV422 转 RGB565 的简化实现（每个像素对处理）
void yuv422_to_rgb565(uint8_t y0, uint8_t u, uint8_t y1, uint8_t v,
                      uint16_t *rgb0, uint16_t *rgb1) {
  int c = y0 - 16;
  int d = u - 128;
  int e = v - 128;
  
  int r = (298 * c + 409 * e + 128) >> 8;
  int g = (298 * c - 100 * d - 208 * e + 128) >> 8;
  int b = (298 * c + 516 * d + 128) >> 8;
  
  // 钳位到0-255
  r = r < 0 ? 0 : (r > 255 ? 255 : r);
  g = g < 0 ? 0 : (g > 255 ? 255 : g);
  b = b < 0 ? 0 : (b > 255 ? 255 : b);
  
  *rgb0 = ((r >> 3) << 11) | ((g >> 2) << 5) | (b >> 3);
  // 对y1重复相同计算...
}

4.3 图像采集操作流程：从摄像头到内存

以ESP32 + OV2640摄像头为例，完整的图像采集流程包含以下关键步骤：

1. 初始化SCCB总线：通过I2C协议向摄像头寄存器写入配置参数（分辨率、输出格式、时钟分频等）。
2. 配置DMA通道：将摄像头的像素时钟（PCLK）与ESP32的GPIO矩阵关联，使数据通过DMA自动写入内存，无需CPU逐字节搬运。
3. 启动帧同步：等待VSYNC（垂直同步）信号拉高，表示新的一帧开始。
4. 读取行数据：在HREF（水平参考）有效期间，按行读取像素数据。每行结束后更新行指针。
5. 帧完成回调：当一帧数据全部写入缓冲区后，触发中断或标志位，通知主程序进行图像处理。

以下是一个简化的ESP32摄像头初始化代码片段：

#include "esp_camera.h"

// 摄像头引脚配置（以AI Thinker模块为例）
static camera_config_t camera_config = {
  .pin_pwdn  = 32,
  .pin_reset = -1,
  .pin_xclk  = 0,
  .pin_sccb_sda = 26,
  .pin_sccb_scl = 27,
  .pin_d7 = 35, .pin_d6 = 34, .pin_d5 = 39, .pin_d4 = 36,
  .pin_d3 = 21, .pin_d2 = 19, .pin_d1 = 18, .pin_d0 = 5,
  .pin_vsync = 25, .pin_href = 23, .pin_pclk = 22,
  .xclk_freq_hz = 20000000,
  .pixel_format = PIXFORMAT_GRAYSCALE,  // 灰度模式
  .frame_size = FRAMESIZE_QVGA,         // 320x240
  .jpeg_quality = 12,
  .fb_count = 2                         // 双缓冲
};

void setup() {
  esp_err_t err = esp_camera_init(&camera_config);
  if (err != ESP_OK) {
    Serial.printf("摄像头初始化失败: 0x%x", err);
    return;
  }
}

void loop() {
  camera_fb_t *fb = esp_camera_fb_get();
  if (fb) {
    process_image(fb->buf, fb->len, fb->width, fb->height);
    esp_camera_fb_return(fb);
  }
}

4.4 案例拆解：基于QVGA灰度图像的边缘检测

为了将上述概念落地，我们设计一个具体的实战场景：在ESP32上实现Canny边缘检测的前置步骤——灰度梯度计算。该案例的目标是验证图像采集链路是否通畅，同时评估不同分辨率下的处理性能。

背景与约束：设备使用ESP32-CAM模块，内置OV2640摄像头，SRAM为520KB。要求实时显示边缘检测结果，帧率不低于10fps。

初始现象：直接使用VGA（640×480）RGB565格式时，帧率仅为4fps，且内存占用高达614KB，导致系统频繁重启。

分析判断过程：

• VGA RGB565帧缓冲 = 640×480×2 = 614,400字节，已超出ESP32可用SRAM。
• 即使改用JPEG压缩，解码过程仍需大量临时内存。
• 边缘检测仅需亮度信息，无需彩色。

实际操作步骤：

1. 将 pixel_format 改为 PIXFORMAT_GRAYSCALE，帧缓冲降至307.2KB。
2. 将 frame_size 降为 FRAMESIZE_QVGA（320×240），帧缓冲进一步降至76.8KB。
3. 使用Sobel算子计算梯度幅值，核大小为3×3。
4. 将结果直接写入TFT屏幕显示。

结果对比：

风险与代价：降低分辨率会丢失细小物体的边缘信息。对于目标尺寸大于20×20像素的物体，QVGA完全够用；若需检测更小目标，建议使用VGA灰度并启用PSRAM（外部扩展内存）。

复盘经验：图像采集的优化顺序应为：先降色彩深度（RGB→灰度），再降分辨率，最后考虑算法优化。色彩深度对内存的影响是线性的，而分辨率的影响是平方级的。

4.5 常见误区与总结复盘

总结：图像采集是视觉识别的基石，理解像素、分辨率和色彩空间三者的关系，是优化系统性能的关键。在实际项目中，应遵循“够用就好”的原则：在满足识别精度的前提下，选择最低的分辨率和最简的色彩格式。同时，善用DMA、双缓冲和灰度化预处理，可以大幅提升Arduino平台的图像处理吞吐量。下一阶段的学习中，我们将基于本章采集到的图像数据，进一步探讨如何在MCU上运行轻量级神经网络模型。