2. 摄像头基础知识
在TinyML视觉应用中，摄像头模组是数据入口，其性能与接口方式直接决定了后续图像预处理、模型推理的可行性与效率。本章围绕图像传感器工作原理、像素格式、帧率与分辨率关系、模组与MCU接口类型四个核心维度展开，帮助开发者建立从传感器选型到硬件集成的完整认知框架。
2.1 图像传感器工作原理
图像传感器是摄像头模组的核心，其作用是将光学信号转换为数字电信号。以OV2640和OV7670为例，两者均采用CMOS工艺，内部集成了感光像素阵列、模拟前端（AFE）、模数转换器（ADC）以及数字信号处理（DSP）单元。感光阵列由数百万个像素单元组成，每个像素单元包含一个光电二极管和一个有源放大器。光线通过微透镜和彩色滤光片（Bayer Pattern）照射到光电二极管上，产生与光强成正比的电荷，经放大后由ADC转换为数字值。
OV2640与OV7670的关键差异在于：OV2640支持最高200万像素（1600×1200），内置JPEG压缩引擎，可直接输出压缩后的JPEG数据流；而OV7670最高仅支持30万像素（640×480），仅能输出RAW RGB或YUV格式。从TinyML应用角度看，OV2640更适合需要较高分辨率或JPEG直出的场景，而OV7670则因接口简单、功耗较低，适合低分辨率实时推理。
| 参数 | OV2640 | OV7670 |
|---|---|---|
| 最大分辨率 | 1600×1200 (UXGA) | 640×480 (VGA) |
| 输出格式 | RGB565 / YUV422 / JPEG | RGB565 / YUV422 / RAW Bayer |
| 内置JPEG压缩 | 支持 | 不支持 |
| 工作电压 | 1.8V / 2.8V | 2.5V / 3.3V |
| 功耗（VGA@30fps） | 约 120mW | 约 80mW |
| 控制接口 | SCCB (兼容I²C) | SCCB (兼容I²C) |
传感器内部通过SCCB（Serial Camera Control Bus）接口接收MCU发送的寄存器配置命令，例如设置曝光时间、增益、白平衡、输出分辨率、帧率等。开发者需要理解的是，传感器输出的像素数据并非直接可用，必须经过格式转换、裁剪、缩放等预处理才能送入神经网络。
2.2 像素格式：RGB565、YUV422与JPEG
像素格式决定了每个像素在内存中的存储方式以及后续处理的复杂度。三种常见格式各有优劣，需要根据应用场景权衡。
RGB565：每个像素占用16位（2字节），其中R占5位、G占6位、B占5位。这种格式直接面向显示设备，MCU读取后无需转换即可在LCD上显示。但RGB565对颜色量化较粗，在图像分类任务中可能损失细微颜色信息。在TinyML中，RGB565常用于需要同时显示和推理的场景，例如智能门锁的人脸识别界面。
YUV422：每个像素用Y（亮度）和UV（色度）表示，Y分量全分辨率保留，U和V分量每两个像素共享一组。因此，YUV422在16位数据中实际包含2个像素的亮度信息和1组色度信息。YUV格式的优势在于：人眼对亮度敏感、对色度不敏感，压缩时可以降低色度采样率而不影响主观质量。对于TinyML模型，YUV422可以直接转换为灰度图（仅取Y分量），减少计算量。
JPEG：JPEG是压缩后的编码格式，OV2640内部DSP完成离散余弦变换（DCT）、量化和霍夫曼编码，输出压缩比特流。JPEG的优势是数据量小，例如一张VGA分辨率的JPEG图像通常只有15-30KB，而原始RGB565需要614KB。但JPEG解码需要额外计算资源，MCU端需要软件解码或硬件JPEG解码器。在TinyML场景中，JPEG常用于无线传输或存储，但直接送入模型前必须解码为RGB或YUV。
格式选择建议：
- 需要实时显示 + 推理 → RGB565
- 仅做灰度推理（如数字识别） → YUV422取Y分量
- 需要传输或存储 → JPEG
- 内存紧张且MCU有硬件JPEG解码 → JPEG
2.3 帧率与分辨率的关系
帧率（FPS）与分辨率之间存在严格的带宽约束关系。传感器输出的数据速率由公式决定：数据带宽 = 水平分辨率 × 垂直分辨率 × 每像素位数 × 帧率。例如，OV7670在VGA（640×480）下输出RGB565，帧率为30fps时，所需带宽为：640×480×16×30 = 147.456 Mbps。而MCU的DMA接口、总线带宽和内存写入速度必须大于该数值，否则会造成丢帧。
实际工程中，MCU的DCMI接口通常支持最高约20-40MHz的像素时钟（PCLK）。以STM32F4系列为例，DCMI最高支持54MHz PCLK，但受限于DMA带宽和内存速度，实际能稳定接收的带宽约为100-200Mbps。因此，当使用OV2640输出UXGA（1600×1200）RGB565时，即使帧率只有15fps，带宽也高达460Mbps，远超MCU处理能力。此时必须降低分辨率或使用JPEG输出。
帧率与分辨率的权衡策略：
- 降低分辨率：将传感器设置为QVGA（320×240）或更小，减少每帧数据量。
- 降低帧率：通过寄存器设置将帧率从30fps降至10fps或更低，适用于静态场景检测。
- 使用JPEG输出：OV2640的JPEG模式可将数据量压缩至原来的1/10~1/20，但需要解码。
- 裁剪（Crop）：仅输出感兴趣区域（ROI），例如只采集画面中央区域。
风险提示：当MCU无法及时读取DCMI数据时，传感器内部的FIFO会溢出，导致图像出现撕裂或丢行。务必在初始化时配置DMA双缓冲，并预留足够的内存空间。
2.4 摄像头模组与MCU的接口类型
摄像头模组与MCU之间的物理接口决定了数据传输方式、引脚数量和最大带宽。常见接口包括DCMI并行接口、SPI串行接口和GPIO模拟并口。
DCMI（Digital Camera Interface）：这是STM32等高端MCU专用的摄像头接口，支持8/10/12/14位并行数据线，配合PCLK、HSYNC、VSYNC信号。DCMI内置FIFO和DMA控制器，可自动将数据搬运到内存，极大减轻CPU负担。DCMI适合高速率传输，例如OV2640输出JPEG或RGB565时，DCMI是首选接口。但DCMI引脚占用较多（至少12个引脚），且并非所有MCU都具备该外设。
SPI接口：部分摄像头模组（如GC032A）支持SPI从模式，MCU通过SPI主模式读取数据。SPI接口引脚少（4线：SCK、MOSI、MISO、CS），但传输速率受限于SPI时钟（通常最高40MHz），且需要额外的控制逻辑。SPI接口适合低分辨率、低帧率的应用，例如读取传感器内部FIFO中的静态图像。
GPIO模拟并口：当MCU没有DCMI外设时，可以使用普通GPIO模拟并行接口。将传感器的D0-D7连接到GPIO，通过外部中断或定时器采样PCLK，在中断服务函数中读取数据。这种方式实现灵活，但CPU占用率高，容易丢帧，仅适用于QVGA以下分辨率且帧率不超过15fps的场景。
| 接口类型 | 引脚数 | 最大带宽 | CPU占用 | 适用场景 |
|---|---|---|---|---|
| DCMI | 12-16 | 200Mbps+ | 低（DMA） | 高分辨率、高帧率 |
| SPI | 4-6 | 40Mbps | 中 | 低分辨率、静态图像 |
| GPIO模拟 | 8-12 | 20Mbps | 高 | 原型验证、低要求 |
2.5 案例拆解：基于STM32F407的OV2640 JPEG采集
下面通过一个实际案例说明如何选择接口和配置参数。项目需求：使用STM32F407开发板采集OV2640图像，通过WiFi模块上传到服务器进行TinyML推理。约束条件：MCU主频168MHz，内存192KB，WiFi模块UART传输速率921600bps。
初始方案：直接使用DCMI接口采集RGB565格式，分辨率设为VGA（640×480），帧率30fps。计算带宽：640×480×16×30 = 147Mbps，DCMI接口可以支持，但每帧数据量为614KB，远超内存容量，且WiFi传输一帧需要614KB×8/921600 ≈ 5.3秒，完全不可行。
优化过程：
- 将传感器输出切换为JPEG格式，分辨率保持VGA。JPEG压缩后每帧约20-30KB，内存可以容纳。
- DCMI配置为JPEG模式，使用DMA双缓冲，每接收完一帧触发中断。
- WiFi传输时间缩短至约0.2秒/帧，帧率降至5fps，满足实时性要求。
- 在MCU端增加JPEG头检测（FFD8/FFD9），确保帧完整性。
关键配置代码片段：
// DCMI初始化（JPEG模式）
DCMI_HandleTypeDef hdcmi;
hdcmi.Instance = DCMI;
hdcmi.Init.SynchroMode = DCMI_SYNCHRO_HARDWARE;
hdcmi.Init.PCKPolarity = DCMI_PCKPOLARITY_RISING;
hdcmi.Init.VSPolarity = DCMI_VSPOLARITY_HIGH;
hdcmi.Init.HSPolarity = DCMI_HSPOLARITY_HIGH;
hdcmi.Init.CaptureRate = DCMI_CR_ALL_FRAME;
hdcmi.Init.ExtendedDataMode = DCMI_EXTEND_DATA_8B;
HAL_DCMI_Init(&hdcmi);
// 启动DMA接收
HAL_DCMI_Start_DMA(&hdcmi, DCMI_MODE_CONTINUOUS,
(uint32_t)jpeg_buffer, JPEG_BUFFER_SIZE);结果对比：优化后，单帧数据量从614KB降至约25KB，内存占用降低96%，WiFi传输延迟从5.3秒降至0.2秒。代价是MCU需要额外的JPEG解码时间（约30ms/帧），但整体系统吞吐量提升了20倍以上。
复盘经验：在TinyML摄像头集成中，先算带宽，再选接口，最后定格式。不要盲目追求高分辨率，应根据实际应用场景（检测目标大小、运动速度、传输链路）综合权衡。
2.6 常见误区与总结
在实际项目开发中，以下误区需要特别注意：
- 误区一：忽略PCLK与MCU时钟的匹配。传感器输出的PCLK频率过高时，DCMI采样可能不稳定。应通过寄存器降低PCLK分频，或使用MCU的时钟校准功能。
- 误区二：JPEG输出时未处理帧头。JPEG数据流中每帧以FFD8开头、FFD9结尾，但DCMI不会自动识别帧边界，需要软件检测。
- 误区三：DMA缓冲区大小设置不当。缓冲区过小会导致数据覆盖，过大浪费内存。建议根据最大JPEG帧大小动态调整。
- 误区四：忽略传感器初始化时序。OV2640上电后需要等待至少10ms稳定，再通过SCCB写入初始化序列，否则可能输出异常图像。
经验总结：摄像头集成不是简单的“接上就能用”，需要从传感器寄存器配置、接口时序、DMA传输、帧同步、格式转换五个层面逐一验证。建议在开发初期使用逻辑分析仪抓取PCLK、HSYNC、VSYNC波形，确认时序正确后再进行软件调试。
本章内容为后续DCMI驱动开发、SPI摄像头适配和并口模块移植奠定了理论基础。理解传感器工作原理、像素格式差异、带宽约束和接口特性，是完成TinyML摄像头驱动集成的第一步。