📚 课程目录第4章常见图像格式

4、常见图像格式：深入理解JPEG、PNG、BMP、RAW等格式的编码特点、存储结构及其对模型输入的影响

在TinyML视觉部署中，图像格式的选择与处理是排错链条的第一环。许多开发者将精力集中在模型架构或量化精度上，却忽略了输入图像在解码、缩放、通道排列和数值分布上的细微差异，导致模型推理结果出现系统性偏差。本章将深入剖析JPEG、PNG、BMP、RAW四种主流图像格式的编码原理、存储结构，并重点阐述它们对模型输入张量的具体影响，帮助你在部署排错时快速定位格式相关的根因。

4.1 核心原理：格式编码与像素数据的本质差异

图像格式的本质是像素数据的组织与压缩策略。模型输入层接收的并非文件本身，而是经过解码后的多维数组（通常为H×W×C）。不同格式在解码后产生的数组在数值分布、通道顺序、位深和空间排列上存在显著差异。

JPEG（有损压缩）：采用YCbCr色彩空间和离散余弦变换（DCT）。解码后得到的是RGB三通道数据，但压缩过程会引入块效应和颜色渗漏。对于分类任务，JPEG的压缩伪影通常可容忍；但对于像素级任务（如分割、关键点检测），高频细节损失可能导致精度下降。
PNG（无损压缩）：支持调色板索引和RGBA直接存储。解码后像素值与原始场景保持严格一致，但文件体积较大。PNG的Alpha通道在TinyML中常被忽略，若模型输入为3通道，需显式丢弃Alpha。
BMP（无压缩）：位图格式，像素按行扫描存储，常见BGR顺序（Windows默认）。解码后数据量大，但无任何信息损失。BMP的通道顺序与大多数训练框架（RGB）不一致，是部署中常见的隐性错误源。
RAW（传感器原始数据）：直接存储CMOS/CCD传感器的电荷值，通常为Bayer模式（RGGB）。RAW不是标准图像格式，必须经过ISP（图像信号处理器）插值、白平衡、伽马校正后才能转为RGB。若直接使用RAW数据，模型输入分布与训练数据差异极大。

格式	压缩方式	色彩空间	通道顺序	位深	对模型输入的主要影响
JPEG	有损（DCT）	YCbCr→RGB	RGB	8bit/通道	块效应、颜色偏移；高频信息丢失
PNG	无损（DEFLATE）	RGB/RGBA/调色板	RGB或RGBA	8/16bit	Alpha通道需处理；16bit需降位
BMP	无压缩	RGB/BGR	BGR（常见）	8/24/32bit	通道顺序颠倒；文件体积大
RAW	无（传感器数据）	Bayer（RGGB）	单通道马赛克	10-14bit	需插值/白平衡；线性空间与sRGB差异

4.2 判断方法：从文件到张量的关键检查点

在TinyML部署中，建议建立一套格式-张量映射检查流程，在模型推理前逐项验证。

解码验证：使用OpenCV或Pillow读取图像后，打印数组的shape、dtype和数值范围。例如：

import cv2
img = cv2.imread('test.jpg')
print(img.shape)      # (H, W, 3)
print(img.dtype)      # uint8
print(img.min(), img.max())  # 0 255

通道顺序确认：OpenCV默认BGR，Pillow默认RGB。若模型训练时使用RGB，而推理时用OpenCV读取，需执行cv2.cvtColor(img, cv2.COLOR_BGR2RGB)。
归一化参数核对：训练时常用的归一化（如ImageNet的mean=[0.485,0.456,0.406]，std=[0.229,0.224,0.225]）必须与部署端完全一致。若使用整数量化模型，还需检查缩放因子（scale）和零点（zero_point）。
位深与类型转换：RAW格式常为16bit，需转换为float32并除以最大值（如65535）或按训练时的缩放系数处理。PNG的16bit同样需要降位。

经验提醒：在嵌入式设备上，JPEG解码库（如libjpeg-turbo）的输出格式可能默认为YUV或BGR，务必查阅库文档确认输出通道顺序。许多TinyML框架（如TensorFlow Lite Micro）的图像预处理API默认输入为RGB uint8，但底层DMA传输可能改变字节序。

4.3 案例拆解：JPEG压缩伪影导致的分割模型精度骤降

背景与约束：某工业质检项目，需要在STM32H7平台上运行语义分割模型，检测PCB板上的微小划痕。训练数据使用工业相机采集的BMP无损图像，而部署端为了节省存储空间，将图像转为JPEG（质量因子85）存储。

初始现象：模型在测试集（BMP）上mIoU达到0.82，但在现场JPEG图像上mIoU降至0.61，且划痕边缘出现大量碎块状误检。

分析判断过程：对比BMP与JPEG解码后的像素差异，发现JPEG在划痕边缘（高频区域）产生±15的像素波动，且伴随8×8像素块的振铃效应。分割模型对边缘敏感，这些伪影被误判为缺陷特征。

实际操作步骤：

将JPEG质量因子从85提升至95，文件体积增加约40%，但像素误差降至±5以内。
在预处理流水线中增加轻度高斯滤波（σ=1.0），抑制块效应。
重新评估模型：mIoU回升至0.78，仍低于BMP基线，但满足质检阈值（0.75）。

结果对比与复盘：JPEG压缩对像素级任务的影响远超分类任务。若存储空间允许，建议使用PNG或BMP；若必须使用JPEG，应在训练阶段加入JPEG数据增强（随机质量因子70-95），使模型学习到压缩伪影的鲁棒特征。

4.4 常见误区与总结复盘

高风险误区：

忽略通道顺序：BMP的BGR顺序与模型训练的RGB不一致，导致颜色通道错位，模型输出完全错误但无明显报错。
归一化参数硬编码：将训练时的归一化参数直接用于量化模型，未考虑量化缩放因子的耦合。
RAW数据直接输入：未做白平衡和色彩校正，模型输入分布偏移严重。
位深截断：将16bit RAW直接截断为8bit，丢失暗部细节。

总结复盘：图像格式的选择不仅是存储问题，更是模型输入分布的控制问题。在TinyML部署排错中，建议遵循以下原则：

训练-部署一致性：部署端的解码、缩放、归一化参数必须与训练流程完全一致，建议将预处理代码从训练脚本中抽取为独立模块，供两端复用。
格式选择优先级：对于像素级任务，优先使用PNG或BMP；对于分类任务，JPEG质量因子不低于90。
建立格式验证用例：在部署前，用一张已知像素值的测试图（如纯色或渐变图）验证解码和预处理链路，确保数值完全匹配。
考虑嵌入式解码开销：JPEG解码在MCU上耗时较长（如STM32H7解码1080P约需200ms），若实时性要求高，应使用RAW或BMP直接读取，或采用硬件JPEG解码器。