2、TinyML视觉基础：嵌入式视觉系统组成、摄像头模块选型、图像传感器原理与数据格式（RGB、灰度、JPEG）
TinyML视觉应用的核心挑战在于：如何在功耗、成本、算力都极度受限的MCU级硬件上，完成从“看到”到“理解”的完整链路。理解嵌入式视觉系统的硬件组成、传感器成像原理以及数据格式的转换逻辑，是后续进行光照控制、角度设计和数据集采集的前提。本节将拆解一套典型的嵌入式视觉系统，深入传感器内部工作机制，并重点对比RGB、灰度与JPEG三种数据格式在TinyML场景下的存储开销与处理代价。
2.1 嵌入式视觉系统的四大核心模块
一套完整的TinyML视觉采集系统，从物理世界到MCU内存，至少包含四个功能模块：光学输入模块（镜头）、光电转换模块（图像传感器）、图像信号处理模块（ISP）以及数据输出接口模块（DVP/MIPI/SPI）。在MCU级别的TinyML系统中，通常还会集成一个轻量级DMA控制器，用于将图像数据从传感器FIFO直接搬运到内存，避免CPU逐字节拷贝造成的算力浪费。
2.2 摄像头模块选型：从OV7670到GC0308
在TinyML教学和产品原型阶段，最常用的摄像头模块集中在OV7670、OV2640、OV5640以及国产GC系列。选型时需要关注以下五个核心参数：
| 参数 | OV7670 | OV2640 | GC0308 | 选型考量 |
|---|---|---|---|---|
| 分辨率 | VGA (640×480) | UXGA (1600×1200) | VGA (640×480) | TinyML常用96×96或160×120，高分辨率仅用于裁剪 |
| 输出格式 | RGB565/YCbCr422 | JPEG/RGB565 | RGB565/YCbCr422 | JPEG输出可节省存储，但解码耗时 |
| 接口 | DVP (8-bit) | DVP/MIPI | DVP (8-bit) | MCU多数仅支持DVP并行接口 |
| 工作电压 | 3.3V/2.5V | 3.3V/1.8V | 3.3V/2.8V | 需确认IO电平匹配，避免烧毁 |
| 功耗 | ~60mW | ~140mW | ~55mW | 电池供电场景优先选低功耗型号 |
对于入门级TinyML项目，OV7670 是最成熟的选择，其寄存器配置资料丰富，但需要注意它没有自动对焦且对光照敏感；OV2640 的优势在于支持JPEG直出，适合需要将图像存储到SD卡的场景；GC0308 作为国产替代，在低照度下表现略好，但寄存器配置文档相对不完善。
2.3 图像传感器原理：Bayer阵列与色彩还原
几乎所有CMOS传感器都采用Bayer滤色阵列来感知颜色。每个像素点只能感知红、绿、蓝中的一种光强，最常见的BGGR排列中，绿色像素占50%，红色和蓝色各占25%。原始数据（RAW）经过ISP的去马赛克（Demosaic）算法，通过邻域插值计算出每个像素的完整RGB值。
// 伪代码：Bayer到RGB的最近邻插值（简化版）
for each pixel (x,y):
if (x,y) is Green:
R = RAW[x][y-1] // 左侧红色
B = RAW[x][y+1] // 右侧蓝色
G = RAW[x][y]
else if (x,y) is Red:
G = (RAW[x-1][y] + RAW[x+1][y]) / 2
B = (RAW[x-1][y-1] + RAW[x+1][y+1]) / 2
R = RAW[x][y]
// 蓝色像素类似在TinyML场景中，跳过完整的去马赛克过程是一种常见优化。如果任务不依赖颜色（如手势识别、形状分类），可以直接将Bayer RAW数据中每个2×2块的平均值作为灰度值，这样既省去了ISP计算，又减少了内存占用。实测表明，这种“伪灰度”方法在边缘检测任务中精度损失小于2%。
2.4 数据格式深度对比：RGB、灰度与JPEG
选择数据格式直接决定了内存占用、预处理复杂度和推理精度。下表从TinyML实际部署角度进行对比：
| 维度 | RGB888 | 灰度8bit | JPEG |
|---|---|---|---|
| 内存占用（96×96） | 27KB | 9KB | 3-6KB（需解码） |
| 预处理耗时 | 无 | 需转换（~1ms） | 解码（5-15ms） |
| 颜色信息 | 完整 | 丢失 | 有损压缩 |
| 适用模型 | 颜色分类、物体检测 | 手写识别、边缘检测 | 存储/传输后离线处理 |
| MCU算力需求 | 高（3通道卷积） | 低（1通道卷积） | 需JPEG解码器（占用Flash） |
在大多数TinyML视觉应用中，灰度图是性价比最高的选择。以STM32F407（168MHz）为例，将一张RGB565图像转换为灰度图，使用查表法仅需约0.8ms；而JPEG解码一张同尺寸图像需要8-12ms，且解码器本身占用约15KB Flash。如果任务必须使用颜色信息（例如区分红色和蓝色物体），建议使用RGB565格式（每像素2字节），而非RGB888，因为高位字节的冗余信息对神经网络贡献有限。
2.5 实战案例：基于OV7670的灰度手势识别前端
项目背景：设计一个基于STM32F401（96KB RAM）的静态手势识别装置，要求识别0-5六个数字手势，响应时间小于200ms，电池供电（3.7V锂电池）。
初始方案与问题：团队最初选用OV7670输出RGB565，在MCU内先缓存整帧（160×120×2=38.4KB），然后转换为灰度（19.2KB），再进行推理。实测发现：① 缓存整帧导致剩余RAM仅剩约50KB，TensorFlow Lite Micro运行时内存不足；② 整帧采集耗时约35ms，加上转换和推理，总耗时达到210ms，超出指标。
优化过程：
- 修改传感器寄存器：将OV7670设置为YUV422输出，直接提取Y分量作为灰度值，跳过RGB→灰度转换步骤，节省约1.2ms。
- 采用行中断分块采集：利用DMA双缓冲机制，每收到10行数据（约2.4KB）就触发一次中断，将灰度数据直接写入推理缓冲区，避免整帧缓存。
- 降低分辨率：将输出分辨率从160×120降至96×96，灰度数据仅需9KB，RAM占用大幅下降。
- 优化推理输入：将灰度数据直接归一化到[-1,1]区间，省去额外的预处理步骤。
结果对比：优化后，内存占用从57.6KB降至约28KB，总耗时从210ms降至145ms（采集30ms + 推理115ms），满足设计指标。电池续航从原来的4.5小时提升至6.2小时（因传感器功耗未变，但MCU主频可从168MHz降至120MHz）。
复盘经验：① 传感器寄存器配置是TinyML优化的第一站，YUV422直出灰度比RGB565转灰度节省算力；② 分块DMA采集是解决MCU内存瓶颈的关键手段；③ 不要盲目追求高分辨率，96×96对于手势识别已足够。
2.6 常见误区与设计复盘
- 误区一：所有摄像头都支持RGB888输出。实际上，多数MCU级摄像头模块默认输出RGB565或YUV422，RGB888需要ISP配置且占用更多带宽。
- 误区二：JPEG直出可以“省掉”ISP处理。JPEG压缩本身是有损的，且解码需要额外算力。在实时推理链路中，JPEG只适合存储或传输，不适合直接作为推理输入。
- 误区三：忽略传感器时钟频率对采集速度的影响。OV7670的PCLK最高24MHz，但MCU的DCMI接口可能无法稳定接收该频率，需根据MCU数据手册调整分频系数。
- 误区四：未考虑镜头视场角（FOV）对数据采集的影响。广角镜头（120°）虽然视野大，但边缘畸变严重，可能导致TinyML模型在边缘区域的识别准确率下降。建议使用60°-90°标准镜头。