📚 课程目录第2章图像基础

2. 图像基础

在TinyML视觉部署中，绝大多数推理错误并非源于模型本身，而是源于输入图像在进入神经网络之前就已经“变形”了。图像格式错误、通道顺序颠倒、位深不匹配、色彩空间混淆，这些问题在PC端可能无伤大雅，但在资源受限的嵌入式设备上，往往直接导致推理结果完全错误或精度骤降。因此，理解图像在计算机中的底层表示方式，是进行视觉部署排错的第一道门槛。本章将系统梳理像素、通道、位深与色彩空间四个核心概念，并重点剖析它们与TinyML推理链路之间的关联。

上图展示了从图像采集到TinyML推理输出的完整链路，其中像素、通道、位深与色彩空间构成了图像数据的四个基本维度。任何一个环节的偏差，都会沿着链路传导至推理引擎，最终表现为错误的分类结果或检测框偏移。下面我们逐一深入剖析。

2.1 像素与分辨率：空间采样的基础

核心原理：像素（Pixel）是图像的最小单位，每个像素对应场景中一个采样点。分辨率则表示为宽×高，例如320×240表示水平方向320个像素、垂直方向240个像素。在TinyML场景中，分辨率直接决定了输入张量的空间维度，也决定了模型第一层卷积的计算量。一个320×240×3的RGB图像，在内存中需要占用320×240×3=230,400字节（按8bit/通道计算），约225KB。对于仅有数百KB RAM的MCU而言，这已经是一个不小的开销。

判断方法：在部署前，必须确认模型输入层期望的分辨率。常见TinyML模型（如MobileNetV1、Visual Wake Words）通常接受96×96、128×128或224×224的输入。若摄像头输出分辨率与模型输入不一致，需要执行缩放操作。缩放算法（最近邻、双线性、双三次）的选择会影响边缘清晰度，但更重要的是保持宽高比或按模型要求进行拉伸。

经验提醒：在MCU上，双线性插值比双三次插值快得多，且内存占用更小。对于分类任务，最近邻缩放往往也能接受；但对于目标检测任务，建议使用双线性插值以减少边缘锯齿对边界框回归的影响。

2.2 通道与位深：数据布局与数值精度

核心原理：通道（Channel）描述每个像素包含的颜色分量数量。灰度图只有1个通道，RGB图有3个通道，RGBA图有4个通道（多一个透明度）。在TinyML中，绝大多数模型输入为3通道或1通道。位深（Bit Depth）表示每个通道用多少比特存储数值。8bit位深取值范围为0~255，16bit为0~65535，32bit浮点则用于训练阶段。嵌入式推理通常使用8bit量化模型，因此输入图像也必须量化为8bit整数。

数据布局：内存中的通道排列方式有两种主流格式：NHWC（通道在后）和NCHW（通道在前）。TensorFlow Lite Micro默认使用NHWC，即一个像素的R、G、B三个值在内存中连续存放。若摄像头驱动输出的是BGR顺序（如某些OV2640模块），则需要在预处理阶段进行通道重排。

属性	灰度图	RGB图	BGR图
通道数	1	3	3
内存布局（8bit）	[H×W]	[H×W×3]	[H×W×3]
典型来源	OV7725灰度模式	OpenCV默认	多数摄像头RAW输出
模型输入要求	1通道	3通道	需转换或重排

2.3 色彩空间：RGB、BGR与灰度

核心原理：色彩空间定义了如何用数值表示颜色。RGB是最常见的加色模型，适合显示器；BGR是OpenCV和许多摄像头模块（如OV2640）的内部存储顺序；灰度则通过加权公式Y = 0.299R + 0.587G + 0.114B将彩色信息压缩为单一亮度值。在TinyML部署中，色彩空间不匹配是最隐蔽的错误源之一——模型在训练时使用RGB顺序，而部署时摄像头输出BGR，若不转换，模型会将红色通道当作蓝色通道处理，导致特征完全错乱。

判断方法：查看模型训练脚本中的数据加载代码，确认cv2.imread()（返回BGR）或PIL.Image.open()（返回RGB）的使用情况。然后检查嵌入式端摄像头驱动或图像库的默认输出格式。若两端不一致，必须在预处理中添加通道重排步骤。

风险提示：通道顺序错误不会导致程序崩溃，但会使模型精度骤降（例如准确率从90%跌至20%以下）。这种错误极难通过日志发现，因为推理过程“正常”完成，只是结果错误。建议在开发板上用一张纯红色图片做测试：若模型输出为“红色”类别，则通道顺序正确；若输出为“蓝色”类别，则说明R和B通道被交换了。

2.4 归一化与量化：从像素值到张量值

核心原理：归一化（Normalization）将像素值从原始范围映射到模型期望的范围。常见方式有两种：线性归一化（除以255，映射到[0,1]）和标准化（减去均值再除以标准差，映射到近似[-1,1]或更窄范围）。在TinyML中，由于使用8bit量化模型，归一化通常被融合到量化参数（scale和zero_point）中。例如，若模型输入要求范围[-1,1]，则量化scale约为2/255≈0.00784，zero_point为128。

操作流程：

确认训练时的归一化方式（查看训练脚本或模型文档）。
计算对应的量化参数：scale = (max_value - min_value) / 255，zero_point = -min_value / scale。
在预处理代码中，将原始像素值转换为uint8张量，并确保数值范围与量化参数匹配。

// 示例：将0-255像素值映射到[-1,1]范围并量化为uint8
float scale = 2.0f / 255.0f;
int zero_point = 128;
uint8_t quantized_value = (uint8_t)((pixel_value * scale + 1.0f) / scale + zero_point);
// 实际部署中，通常直接使用TFLM的量化工具完成此转换

2.5 实战案例：灰度图误用三通道输入的排错

背景与约束：某智能门锁项目使用STM32F746（1MB RAM）部署人员检测模型。模型输入要求96×96×3的RGB图像，但摄像头驱动配置为灰度模式（1通道），输出96×96的8bit灰度数组。

初始现象：推理结果完全错误——无论画面中是否有人，模型始终输出“无人”类别，且置信度极高（>0.95）。

分析过程：首先检查内存布局，发现灰度数组大小为96×96=9216字节，而模型输入张量需要96×96×3=27648字节。由于内存分配不足，后续数据读取越界，导致输入张量中填充了随机内存值。进一步检查发现，即使将灰度数组复制到三通道张量的第一个通道，其余两个通道仍为未初始化的内存垃圾值。

实际操作步骤：

修改摄像头驱动，将输出模式从灰度切换为RGB565，再转换为RGB888。
在预处理函数中，显式将灰度值复制到三个通道：rgb[i*3]=gray[i]; rgb[i*3+1]=gray[i]; rgb[i*3+2]=gray[i];
重新运行推理，准确率恢复至92%。

结果对比：修复前准确率约5%（接近随机猜测），修复后92%。风险与代价：切换摄像头模式增加了约15ms的预处理时间，但换来了正确的输入格式。复盘经验：在TinyML部署中，输入张量的内存大小必须严格匹配模型要求，任何维度不匹配都可能导致静默错误。

  总结复盘：图像格式错误是TinyML部署中最常见且最隐蔽的问题。建议在开发初期就建立“输入验证”环节：打印输入张量的形状、通道数、首像素值，并与训练时的数据对比。一个简单的验证函数可以避免数小时的无效调试。

2.6 常见误区与检查清单

误区一：认为所有摄像头都输出RGB。实际上，多数嵌入式摄像头输出BGR或RAW Bayer格式。
误区二：忽略位深转换。16bit摄像头输出需要右移8位才能转为8bit，否则数值范围错误。
误区三：在归一化时使用错误的scale/zero_point。若模型训练时使用[0,1]范围，而部署时使用[-1,1]范围，精度会严重下降。
误区四：将灰度图直接复制到三通道张量而不填充其他通道，导致未初始化内存参与计算。

检查项	验证方法	通过标准
分辨率	打印输入张量shape	与模型输入完全一致
通道数	检查摄像头模式配置	1通道或3通道匹配
通道顺序	纯色图片测试	输出颜色类别正确
位深	检查像素值范围	0~255（8bit）
归一化	对比训练脚本参数	scale/zero_point一致

掌握图像在计算机中的表示方式，是TinyML视觉部署排错的基础。像素、通道、位深与色彩空间四个维度相互独立又彼此关联，任何一个维度的偏差都会导致推理结果异常。在实际开发中，建议将图像格式验证作为预处理流水线的固定环节，用自动化测试代替人工排查，从而大幅提升部署效率。