3. 摄像头与图像基础：摄像头模块选型、图像格式与分辨率对模型推理的影响
在TinyML视觉项目中，摄像头是感知世界的“眼睛”，其选型与配置直接决定了后续图像预处理、模型输入和推理效果的整个链路。很多初学者在跑通一个分类Demo后，换上自己的摄像头却发现识别率骤降或帧率惨不忍睹，问题往往就出在摄像头模块与图像参数的匹配上。本章将围绕摄像头模块选型（OV2640、OV7670等）、图像格式（RGB、JPEG）以及分辨率与帧率对模型推理的影响展开，帮助你建立从物理像素到模型张量的完整认知。
3.1 摄像头模块选型：从传感器到开发板的适配逻辑
摄像头模块的选型不是单纯看像素高低，而是要在传感器输出能力、开发板接口带宽、功耗预算和算法需求之间找到平衡点。以最常见的OV2640和OV7670为例，两者虽然都是OmniVision的经典产品，但设计定位差异明显。
核心原理：传感器输出与接口的匹配
OV2640支持最高200万像素（UXGA，1600x1200），内置JPEG压缩引擎，可通过DVP（Digital Video Port）并行接口输出RGB565、YUV422或压缩后的JPEG数据流。它的优势在于“一芯多能”——既能输出原始RGB供传统视觉处理，也能直接输出JPEG节省传输带宽。而OV7670最高仅支持VGA（640x480），且不支持硬件JPEG压缩，只能输出RGB565/555、YUV422等原始格式，数据量随分辨率线性增长。
在实际选型时，你需要关注以下四个关键参数：
- 分辨率与传感器尺寸：OV2640的1/4英寸传感器在低照度下噪点控制优于OV7670的1/6英寸，但两者在室内正常光照下差异不大。
- 输出接口类型：DVP并行接口需要占用大量GPIO（通常8-10根数据线+同步信号），而MIPI/CSI接口（如OV5640）虽然引脚少但需要MCU支持对应外设。
- 功耗预算：OV2640在活跃模式下约120mW，OV7670约80mW，对于电池供电的TinyML设备，这个差距可能影响续航。
- 驱动复杂度：OV7670的SCCB寄存器配置相对简单，社区资料多；OV2640的JPEG模式配置稍复杂，但省去外部编码芯片。
判断方法：三步完成选型
- 第一步：确定模型输入尺寸。例如你的MobileNet模型输入是96x96x3，那么摄像头分辨率只需大于96x96即可，VGA（640x480）绰绰有余。
- 第二步：评估接口带宽。以ESP32-S3为例，其DVP接口在8位模式下最高支持约40MHz像素时钟，对应RGB565格式下最大约640x480@30fps。若需更高分辨率或帧率，需考虑JPEG输出或MIPI接口。
- 第三步：检查内存与DMA通道。一帧640x480的RGB565图像占用约614KB，而大多数MCU的RAM只有几百KB，因此必须采用“边采集边处理”或“JPEG解码后缩放”的策略。
案例拆解：ESP32-CAM上的OV2640配置实战
假设你正在做一个“猫狗分类器”，模型输入为96x96x3的RGB图像。使用ESP32-CAM（内置OV2640）时，初始配置为UXGA分辨率、JPEG输出。实际运行后发现帧率仅5FPS，且CPU占用率高达80%。通过分析，瓶颈在于JPEG解码——每次从摄像头获取JPEG数据后，需要调用软件解码库将其转为RGB，再缩放至96x96，整个过程耗时约150ms。
优化方案如下：
- 将摄像头输出分辨率从UXGA（1600x1200）降至VGA（640x480），JPEG数据量减少约60%，解码时间降至60ms。
- 开启摄像头的“窗口裁剪”功能，直接输出中央320x240区域，进一步减少数据量。
- 将JPEG解码后的RGB图像直接进行双线性插值缩放至96x96，避免中间缓冲。
优化后帧率提升至12FPS，CPU占用降至45%，识别准确率仅下降0.8%（因为原图细节冗余）。这个案例说明：摄像头分辨率并非越高越好，匹配模型输入才是关键。
3.2 图像格式：RGB、JPEG与YUV的选择策略
图像格式决定了数据从摄像头到模型输入之间的“翻译”成本。TinyML场景中，最常见的三种格式是RGB565、JPEG和YUV422，它们各有优劣。
核心原理：格式与计算开销的权衡
RGB565是16位色深，每个像素用5位R、6位G、5位B表示，适合直接显示和简单处理，但数据量较大。JPEG是压缩格式，能大幅减少传输数据量，但解码需要CPU计算。YUV422将亮度（Y）和色度（UV）分离，其中UV分量可以降采样，适合做灰度化或肤色检测。
对于模型推理，大多数TinyML框架（如TensorFlow Lite Micro）要求输入为RGB888或灰度图。因此，无论摄像头输出什么格式，最终都需要转换为模型要求的张量格式。这个转换过程的计算开销往往被忽视。
| 格式 | 数据量（VGA帧） | 转换到RGB888开销 | 适用场景 |
|---|---|---|---|
| RGB565 | 614KB | 低（仅需位扩展） | 直接显示、简单分类 |
| JPEG | 30-80KB（质量相关） | 高（需完整解码） | 无线传输、存储 |
| YUV422 | 614KB | 中（需颜色矩阵转换） | 灰度模型、视频流 |
| Grayscale | 307KB | 低（直接映射） | 边缘检测、二值化 |
操作流程：JPEG解码与缩放的流水线设计
当使用JPEG输出时，推荐采用“分步处理”而非“一次性解码全图”。具体流程如下：
- 从摄像头DMA缓冲区获取JPEG数据块。
- 调用轻量级解码库（如TJpgDec）解码为RGB565，但只解码到目标尺寸的1/2或1/4（通过缩放参数）。
- 将解码后的图像直接拷贝到模型输入缓冲区，同时完成RGB565到RGB888的位扩展。
// 伪代码示例：JPEG解码并缩放
uint8_t jpeg_buf[8192]; // 摄像头DMA缓冲区
uint8_t rgb_buf[96*96*3]; // 模型输入
TJpgDec.decode(jpeg_buf, rgb_buf, 96, 96, TJPGD_SCALE_1X);
// 注意：TJpgDec支持缩放参数，避免先解码全图再缩放常见误区：盲目追求高色彩保真度
很多开发者认为RGB888比RGB565更“高级”，但在MCU上，RGB888需要3字节/像素，内存占用增加50%，且位扩展操作会消耗额外CPU周期。对于大多数物体识别任务（如检测猫、杯子、手势），RGB565的色深损失对准确率影响微乎其微。相反，将摄像头设置为灰度模式（YUV422中取Y分量）可以显著减少计算量，尤其适合边缘检测或形状识别。
3.3 分辨率与帧率：模型推理的“供需平衡”
分辨率决定空间细节，帧率决定时间连续性，两者共同影响模型推理的实时性和准确性。在TinyML设备上，资源有限，必须找到平衡点。
核心原理：分辨率对推理的影响机制
模型输入尺寸固定后，摄像头分辨率的作用体现在两个层面：一是视野范围，高分辨率可以覆盖更大场景，但需要缩放或裁剪；二是有效像素密度，当目标物体在画面中较小时，高分辨率能保留更多特征。然而，分辨率提升会带来三个代价：
- 采集时间增加：DVP接口传输一帧VGA（640x480）RGB565约需30ms，而UXGA（1600x1200）需120ms。
- 预处理开销增大：缩放算法（双线性或最近邻）的计算量随源分辨率线性增长。
- 内存压力：高分辨率帧需要更大的DMA缓冲区，可能挤占模型推理的RAM空间。
判断方法：帧率预算分配
假设你的目标帧率是10FPS，即每帧总预算100ms。典型时间分配如下：
| 环节 | 时间预算 | 优化手段 |
|---|---|---|
| 摄像头采集 | 20-30ms | 降低分辨率、开启裁剪 |
| 格式转换/缩放 | 10-20ms | 使用DMA加速、查表法 |
| 模型推理 | 40-60ms | 量化模型、剪枝 |
| 后处理/显示 | 5-10ms | 简化非极大值抑制 |
如果推理时间超过60ms，优先降低摄像头分辨率而非模型复杂度，因为模型精度损失通常比图像缩放更严重。
实战场景：动态分辨率调整策略
在电池供电的智能门铃项目中，我们采用了“双模式”策略：
- 待机模式：摄像头以QQVGA（160x120）@5FPS运行，仅做人形检测，功耗约80mW。
- 触发模式：检测到人形后，切换至VGA（640x480）@15FPS，进行人脸识别，功耗升至200mW。
这种设计将平均功耗降低60%，同时保证了关键事件的识别精度。实现时需注意：切换分辨率需要重新初始化摄像头寄存器，耗时约50ms，需在代码中预留过渡帧。
总结复盘：分辨率与帧率的决策清单
- 先确定模型输入尺寸，再反推摄像头最小分辨率（建议为输入的2倍以上，保留裁剪余量）。
- 计算DVP带宽：像素时钟 x 位宽 ≤ 接口最大带宽，否则降分辨率或改用JPEG。
- 实测各环节耗时，用示波器或日志打点，找出瓶颈环节。
- 优先优化耗时最长的环节，而不是平均用力。