3、图像传感器与数据采集：常用图像传感器类型、分辨率选择、数据格式与预处理方法

TinyML 智能传感器的核心任务之一，是从物理世界中捕获视觉信息并将其转换为可供轻量级神经网络处理的数字信号。图像传感器作为整个视觉感知链路的起点，其选型与数据采集质量直接决定了后续模型推理的上限。在资源受限的嵌入式环境中，我们既不能像手机或安防摄像头那样堆砌高像素与高性能 ISP，也不能忽视图像质量对识别精度的影响。本章将围绕图像传感器的类型选择、分辨率权衡、数据格式解析以及预处理流程展开，帮助读者建立一套面向 TinyML 场景的工程化选型与数据准备方法论。

3.1 常用图像传感器类型与选型依据

在 TinyML 设备中，图像传感器主要分为 CMOS 与 CCD 两大类，其中 CMOS 凭借低功耗、高集成度和低成本成为主流。CMOS 传感器内部集成了像素阵列、模拟前端、ADC 以及部分数字逻辑，能够直接输出数字信号，非常适合与 MCU 或低功耗 SoC 对接。根据快门方式的不同，CMOS 又分为卷帘快门（Rolling Shutter）和全局快门（Global Shutter）。卷帘快门逐行曝光，适合拍摄静态或慢速移动物体；全局快门所有像素同时曝光，能够有效避免运动畸变，适用于工业检测、手势识别等动态场景，但成本与功耗相对更高。

除了传统 2D 图像传感器，TinyML 场景中还会用到 ToF（飞行时间）传感器和事件相机。ToF 传感器通过测量红外光往返时间获取深度信息，常用于近距离人体存在检测、手势姿态估计；事件相机则只在像素亮度变化时输出事件流，具有微秒级延迟和极低数据量，适合高速运动物体的稀疏识别，但算法生态尚不成熟。对于大多数入门级 TinyML 视觉项目，推荐优先选用 OV2640、OV7675、MT9V034 等成熟 CMOS 传感器，它们拥有完善的驱动库和社区支持。

3.2 分辨率选择：算力、内存与精度的三角权衡

分辨率直接决定了输入数据的维度，进而影响模型参数量、推理延迟和内存占用。对于 TinyML 设备，常见分辨率选择包括 QVGA（320×240）、VGA（640×480）以及 1MP（1280×720）以上。以 MobileNetV1 为例，输入 96×96 灰度图时模型参数量约为 0.5M，Flash 占用约 2MB；若输入提升到 224×224 RGB 图，参数量不变但计算量增加约 5.4 倍，推理时间从 30ms 拉长到 160ms（基于 Cortex-M7 200MHz 估算）。因此，分辨率的选择不应盲目追求高像素，而应基于任务最小可识别特征尺寸来确定。

一个实用的判断方法是：最小特征像素数法则。假设需要识别的物体最小特征在图像中至少占据 8×8 像素，那么根据视场角（FOV）和物距可以反推所需分辨率。例如，在 30cm 距离识别直径 2cm 的缺陷，使用 60° 水平 FOV 镜头，水平方向可分辨宽度约为 34.6cm，所需水平像素数 = 34.6cm / (2cm/8px) ≈ 138 像素，因此 QVGA 分辨率（320 像素宽）已经足够。若需要识别更小的特征，再考虑提升到 VGA 或更高。

3.3 数据格式解析：从 RAW 到模型输入的格式转换

图像传感器输出的原始数据格式直接影响传输带宽和预处理复杂度。最常见的传感器输出格式包括 RAW Bayer、RGB565、RGB888、YUV422 和 JPEG。RAW Bayer 格式每个像素仅包含一个颜色通道（R/G/B 按 Bayer 模式排列），数据量最小，但需要经过去马赛克（Demosaic）算法才能得到彩色图像，该过程计算量较大，不适合在 MCU 上直接处理。RGB565 以 16bit 表示一个像素，R 占 5bit、G 占 6bit、B 占 5bit，是嵌入式领域最常用的彩色格式，兼顾了色彩表现与内存占用。YUV422 将亮度（Y）与色度（UV）分离，适合人脸检测等需要亮度信息的场景，且 UV 分量可以降采样以减少数据量。JPEG 格式虽然压缩率高，但解码需要大量计算和内存，通常仅在需要无线传输时使用。

对于 TinyML 推理，推荐的数据流路径为：传感器输出 RGB565 → 裁剪/缩放至模型输入尺寸 → 转换为灰度图（若模型为单通道）或保持 RGB888 → 归一化到 [0,1] 或 [-1,1] → 送入模型。灰度转换公式为 Gray = (R×38 + G×75 + B×15) >> 7，该整数近似方法避免了浮点运算，在 MCU 上执行效率极高。归一化操作建议使用定点数实现，例如将像素值乘以 1/255 近似为乘以 257 再右移 16 位，以降低计算开销。

// 示例：RGB565 转灰度并缩放至 96×96
void rgb565_to_gray_resize(uint16_t *src, uint8_t *dst, 
                           int src_w, int src_h, int dst_w, int dst_h) {
    for (int y = 0; y < dst_h; y++) {
        for (int x = 0; x < dst_w; x++) {
            int sx = x * src_w / dst_w;
            int sy = y * src_h / dst_h;
            uint16_t pixel = src[sy * src_w + sx];
            uint8_t r = (pixel >> 11) & 0x1F;
            uint8_t g = (pixel >> 5) & 0x3F;
            uint8_t b = pixel & 0x1F;
            // 5bit/6bit/5bit 转 8bit
            r = (r << 3) | (r >> 2);
            g = (g << 2) | (g >> 4);
            b = (b << 3) | (b >> 2);
            dst[y * dst_w + x] = (r * 38 + g * 75 + b * 15) >> 7;
        }
    }
}

3.4 预处理方法：提升模型鲁棒性的关键步骤

预处理不仅仅是格式转换，还包括几何变换、像素值调整和数据增强。在 TinyML 场景中，由于模型容量有限，预处理的质量往往比模型结构更能影响最终精度。常用的预处理操作包括：中心裁剪（去除边缘无关区域）、缩放（双线性插值或最近邻）、直方图均衡化（增强对比度）、均值减法（消除光照影响）。其中，双线性插值在 MCU 上实现时可以使用定点数加速，例如将缩放比例预先计算为 Q16 格式的定点数，避免浮点除法。

数据增强在训练阶段至关重要，但在推理阶段通常不执行。对于 TinyML 模型训练，建议在 PC 端完成随机裁剪、旋转、亮度抖动、高斯噪声等增强操作，以提升模型对光照变化和视角变化的鲁棒性。然而，增强操作必须与部署时的预处理保持一致。例如，若训练时使用随机亮度调整，部署时也应加入固定的亮度归一化步骤，否则训练与推理之间的分布差异会导致精度下降。

3.5 常见误区与总结

在图像传感器选型与数据采集过程中，工程师常犯以下错误：误区一，盲目追求高分辨率，导致内存溢出或推理延迟超标，实际上很多任务在 QVGA 下即可达到满意精度；误区二，忽略传感器输出格式与 MCU 接口的匹配，例如某些传感器仅支持 MIPI CSI 接口，而 MCU 只有 DVP 接口，需要额外转换芯片；误区三，预处理与训练数据不一致，导致模型部署后精度骤降；误区四，未考虑帧率与功耗的平衡，连续采集高帧率图像会显著增加功耗，应使用运动检测或定时唤醒机制。

总结本章核心要点：图像传感器选型应优先考虑 CMOS 全局快门（动态场景）或卷帘快门（静态场景）；分辨率选择遵循最小特征像素法则，结合 SRAM 容量确定上限；数据格式推荐 RGB565 作为中间格式，灰度转换使用整数近似算法；预处理流程必须与训练阶段保持一致，并针对光照、遮挡等实际环境进行针对性优化。掌握这些方法后，读者即可为 TinyML 视觉应用构建高效、稳定的图像数据采集链路。