2、摄像头基础：摄像头工作原理、图像传感器类型（OV2640、OV7725等）、接口协议（DVP、MIPI、USB）
在TinyML视觉项目中，摄像头是数据入口，其性能直接决定了后续模型能“看到”什么。很多初学者把精力集中在模型结构上，却忽略了摄像头选型与配置，导致图像模糊、丢帧、色彩失真，甚至系统无法启动。本章从摄像头工作原理出发，梳理主流图像传感器（OV2640、OV7725）的差异，并深入对比DVP、MIPI、USB三种接口协议，帮助你在资源受限的MCU平台上做出合理的硬件选型与驱动设计决策。
2.1 摄像头工作原理与关键参数
摄像头模组的本质是一个“光信号→电信号→数字信号”的转换系统。光线通过镜头（Lens）聚焦到图像传感器（Image Sensor）的光敏二极管阵列上，每个像素点根据接收到的光强积累电荷。传感器通过控制曝光时间（Exposure）决定电荷积累时长，再经过模拟前端（AFE）完成增益放大、黑电平校正，最后由ADC将模拟电压量化为数字值。这一过程在滚动快门（Rolling Shutter）或全局快门（Global Shutter）模式下逐行或整帧完成。
对于TinyML开发者，需要重点关注以下参数：
- 分辨率（Resolution）：决定输入图像的像素总数。OV2640最大支持200万像素（1600×1200），OV7725为30万像素（640×480）。在MCU上，通常将分辨率降至QVGA（320×240）或更小以匹配算力。
- 帧率（Frame Rate）：每秒输出完整帧数。受限于传感器时钟、接口带宽和MCU处理速度。OV7725在VGA分辨率下可达60fps，但MCU端实际推理帧率往往只有5-15fps。
- 像素格式（Pixel Format）：常见有YUV422、RGB565、RAW Bayer、JPEG压缩格式。TinyML场景推荐直接输出RGB565或灰度图，避免在MCU上做繁重的格式转换。
- 信噪比（SNR）与动态范围：影响低光照下的图像质量。OV7725在低照度下表现优于OV2640，因为其像素尺寸更大（6.0μm vs 2.2μm）。
| 参数 | OV2640 | OV7725 | OV5640 |
|---|---|---|---|
| 最大分辨率 | 200万 (1600×1200) | 30万 (640×480) | 500万 (2592×1944) |
| 像素尺寸 | 2.2μm | 6.0μm | 1.4μm |
| 输出格式 | YUV/RGB/JPEG | RAW RGB/YUV | RAW/MJPEG |
| 接口类型 | DVP (8-bit) | DVP (8/10-bit) | MIPI-CSI (2-lane) |
| 典型功耗 | 120mW @VGA | 90mW @VGA | 180mW @1080p |
| TinyML适用性 | 中等，需降分辨率 | 高，低分辨率友好 | 低，带宽要求高 |
2.2 图像传感器类型对比与选型
当前TinyML领域常用的传感器主要分为两类：滚动快门传感器（如OV2640、OV7725）和全局快门传感器（如MT9V034）。滚动快门逐行曝光，在拍摄快速移动物体时会产生“果冻效应”（Jello Effect），导致图像扭曲；全局快门则所有像素同时曝光，适合高速运动场景，但成本更高、像素尺寸更大。
从实际项目角度，选型应遵循以下判断流程：
- 明确任务类型：静态物体识别（如二维码、仪表读数）选滚动快门即可；动态物体追踪（如无人机避障）优先全局快门。
- 评估MCU资源：若使用STM32F4系列（192KB RAM），建议选择OV7725并输出QVGA灰度图；若使用ESP32-S3（512KB RAM），可考虑OV2640输出RGB565。
- 检查接口兼容性：部分MCU（如STM32F7）没有DVP接口，需选择MIPI或USB摄像头，但会引入额外的协议转换芯片。
- 考虑功耗预算：电池供电的穿戴设备，OV7725在VGA@30fps下功耗约90mW，而OV5640在1080p下功耗翻倍。
背景：某智能门锁项目需要在低功耗MCU（STM32L4）上实现人脸检测，要求待机功耗低于50μA，唤醒后2秒内完成识别。
初始方案：选用OV2640输出JPEG（压缩后约30KB/帧），通过DVP接口传输。实测发现JPEG解码耗时约800ms，且解码后图像质量损失导致识别率下降。
分析过程：JPEG解码需要额外内存（约100KB）和CPU时间，且L4系列主频仅80MHz，解码期间无法执行其他任务。改用OV7725直接输出QVGA灰度图（76.8KB），省去解码步骤。
实际操作：将传感器配置为RGB565格式，通过DMA乒乓缓存采集，CPU仅需做简单的像素格式转换（RGB565→灰度）。识别率从91%提升至94%，唤醒到识别完成时间缩短至1.2秒。
结果对比：功耗从平均45mA降至28mA，待机功耗不变。代价是失去了彩色信息，但人脸检测本身对颜色不敏感。
复盘经验：在资源受限场景下，选择“够用”的传感器比追求高规格更重要。JPEG压缩看似节省带宽，但解码开销往往得不偿失。
2.3 接口协议：DVP、MIPI与USB
接口协议决定了传感器与MCU之间的数据传输方式，直接影响引脚占用、带宽上限和驱动复杂度。三种主流协议各有优劣，适用于不同场景。
2.3.1 DVP（Digital Video Port）并行接口
DVP是最传统的摄像头接口，采用并行数据线（8/10/12-bit）加上像素时钟（PCLK）、行同步（HSYNC）、帧同步（VSYNC）信号。以OV7725为例，VGA分辨率@30fps时，PCLK频率约为24MHz，数据带宽为24MB/s（8-bit）。DVP的优点是协议简单、MCU内置外设支持广泛（如STM32的DCMI接口）、延迟低；缺点是引脚占用多（至少11根信号线）、抗干扰能力弱、传输距离短（不超过10cm）。
// STM32 DCMI 配置示例（简化）
DCMI_HandleTypeDef hdcmi;
hdcmi.Instance = DCMI;
hdcmi.Init.SynchroMode = DCMI_SYNCHRO_HARDWARE; // 硬件同步
hdcmi.Init.PCKPolarity = DCMI_PCKPOLARITY_RISING;
hdcmi.Init.VSPolarity = DCMI_VSPOLARITY_HIGH;
hdcmi.Init.HSPolarity = DCMI_HSPOLARITY_HIGH;
hdcmi.Init.CaptureRate = DCMI_CR_ALL_FRAME;
hdcmi.Init.ExtendedDataMode = DCMI_EXTEND_DATA_8B;
HAL_DCMI_Init(&hdcmi);2.3.2 MIPI-CSI（Camera Serial Interface）
MIPI-CSI是移动设备主流的摄像头接口，采用差分信号串行传输，每个Lane的速率可达1Gbps以上。相比DVP，MIPI引脚少（1-4对差分线+时钟）、抗干扰强、支持更高分辨率和帧率。但MCU内置MIPI控制器的型号较少（如STM32H7部分型号、i.MX RT系列），通常需要额外的桥接芯片（如TC358748）将MIPI转为DVP或并行接口，增加了成本和复杂度。
2.3.3 USB UVC（USB Video Class）
USB摄像头通过UVC协议免驱传输视频流，适合开发板（如树莓派、Jetson Nano）或带有USB Host功能的MCU（如ESP32-S3）。USB接口的优势是即插即用、带宽充足（USB2.0理论480Mbps）、支持热插拔；缺点是协议栈复杂、延迟较高（通常50-100ms）、功耗较大（约200-500mA）。在TinyML场景中，USB摄像头多用于原型验证，量产产品较少采用。
| 对比维度 | DVP | MIPI-CSI | USB UVC |
|---|---|---|---|
| 引脚占用 | 11-15根 | 4-10根（差分） | 2根（D+/D-） |
| 最大带宽 | ~100MB/s | ~2GB/s (4-lane) | ~40MB/s (USB2.0) |
| 传输延迟 | <1ms | <1ms | 50-100ms |
| MCU支持 | 广泛（DCMI/CSI） | 较少（需桥接） | 需USB Host |
| 适用场景 | 低功耗MCU | 高性能MPU | 原型验证 |
2.4 输入缓存设计要点
摄像头数据是持续产生的流式数据，MCU无法逐像素处理，必须通过DMA将数据搬运到内存缓冲区。设计输入缓存时需考虑三个核心问题：缓冲区大小、双缓冲机制、内存对齐。
缓冲区大小由分辨率与像素格式决定：QVGA灰度图（320×240×1）= 76.8KB；QVGA RGB565（320×240×2）= 153.6KB。对于内存紧张的MCU，可采用“分块采集”策略，即每次DMA只传输图像的一部分（如一行或一个块），处理完后再接收下一块，但会增加同步复杂度。
双缓冲（Ping-Pong Buffer）是推荐做法：DMA在写入Buffer A时，CPU处理Buffer B中的数据；当一帧采集完成，DMA切换到Buffer B，CPU开始处理Buffer A。这样可以实现“采集与处理并行”，有效提升帧率。实现时需注意DMA中断优先级高于普通任务，且缓冲区地址需按32字节对齐以满足DMA要求。
项目背景：制作一个无线图传模块，要求端到端延迟低于150ms，图像分辨率640×480 RGB565。
初始设计：使用单缓冲区，DMA采集完成后CPU进行JPEG压缩再通过WiFi发送。实测帧率仅8fps，延迟约200ms。
问题分析：单缓冲区导致CPU必须等待DMA完全停止才能访问数据，且JPEG压缩耗时约60ms，期间摄像头数据无法写入。
优化方案：
① 改用双缓冲，DMA连续采集，CPU在上一帧压缩时同时接收新帧；
② 将分辨率降至320×240，帧率提升至25fps；
③ 使用ESP32-S3的JPEG硬件编码器，压缩时间从60ms降至15ms。
结果：延迟降至90ms，帧率稳定在20fps，满足实时预览需求。
代价：分辨率降低导致图像细节减少，但图传场景可接受。
复盘：双缓冲是嵌入式视觉的“免费午餐”，几乎不增加硬件成本，却能显著提升吞吐量。任何摄像头项目都应优先实现双缓冲。
2.5 常见误区与总结
在摄像头选型与调试中，以下误区值得警惕：
- 误区一：分辨率越高越好。高分辨率意味着更大的内存占用、更长的传输时间和更高的功耗。TinyML模型输入通常为96×96或128×128，过高的原始分辨率只会浪费资源。
- 误区二：忽略帧同步信号。DVP接口的VSYNC和HSYNC时序必须严格匹配传感器输出，否则会出现图像错位或撕裂。建议使用逻辑分析仪抓取时序，确认极性设置正确。
- 误区三：JPEG格式直接用于推理。JPEG是有损压缩，解码后图像质量下降，且解码过程消耗大量CPU。除非MCU有硬件JPEG解码器，否则应避免使用。
- 误区四：忽视电源稳定性。摄像头对电源纹波敏感，供电电压波动会导致图像闪烁或花屏。建议在摄像头电源引脚并联10μF+100nF去耦电容，并避免与电机、LED等大功率器件共用电源。