3. 图像数据格式
在车载Camera数据链路中，图像数据格式决定了从Sensor输出、ISP处理、SoC搬运到显示与算法消费的每一段带宽、延迟与画质表现。很多项目在前期只关注“多少万像素、多少帧率”，却忽略了格式选择对MIPI CSI-2通道数、DDR带宽、NPU预处理开销的连锁影响。本节围绕RAW、RGB、YUV、Bayer阵列、色彩空间转换、位深与压缩格式，梳理车载场景下的选型逻辑。
一、核心原理：从光子到可显示像素
CMOS Sensor的每个像素点上方覆盖一层彩色滤光片，最常见的是Bayer阵列：奇数行按R-G-R-G排列，偶数行按G-B-G-B排列，每个像素只感知红、绿、蓝中的一种颜色。因此Sensor原生输出的是Bayer RAW，每个像素只有一个颜色分量，数据量最小，但还不能直接显示。
RAW经过ISP处理，依次完成黑电平校正、镜头阴影校正、去马赛克、白平衡、色彩校正矩阵、Gamma等步骤，才转换为RGB。RGB是面向显示与合成的色彩空间，每个像素包含R、G、B三个分量。YUV则把亮度Y与色度U/V分离，利用人眼对亮度敏感、对色度不敏感的特性，通过色度下采样降低数据量，是视频编码与传输的常用格式。
二、Bayer阵列与RAW位深
Bayer阵列的四种排列模式（RGGB、BGGR、GRBG、GBRG）必须与ISP配置严格匹配，否则会出现红蓝互换或偏色。RAW位深常见8bit、10bit、12bit、14bit、16bit。位深越高，暗部层次与动态范围越好，但MIPI与DDR带宽线性增加。
以1920×1080@30fps为例，RAW10每像素占10bit，单帧约2.49MB，30fps约74.6MB/s；若换成RAW12，则约89.5MB/s。多路Camera叠加后，这个差异会直接决定DDR是否成为瓶颈。
RAW10 单帧字节 = 1920 × 1080 × 10 / 8 ≈ 2.49 MB
RAW12 单帧字节 = 1920 × 1080 × 12 / 8 ≈ 2.99 MB
YUV422 8bit 单帧 = 1920 × 1080 × 2 ≈ 3.98 MB
RGB888 单帧 = 1920 × 1080 × 3 ≈ 5.98 MB三、色彩空间转换与YUV采样
RAW到RGB的转换由ISP完成，RGB到YUV则通过色彩空间转换矩阵实现。车载常用YUV422（YUYV、UYVY）与YUV420（NV12、NV21）。YUV422每个像素平均16bit，YUV420平均12bit，后者带宽更低，但色度分辨率减半，在车牌、交通标志等对色度细节敏感的场景需谨慎。
NV12在车载中非常常见：Y平面连续存储，UV交错存储，便于GPU与编码器直接消费。若算法需要RGB输入，则要在GPU或NPU前做YUV到RGB转换，这会带来额外延迟与功耗。
四、位深、压缩与车载场景选择
位深选择要结合动态范围需求与链路能力。普通倒车影像RAW10即可；前视ADAS在隧道出入口、逆光等场景建议RAW12甚至RAW14，以保留高光与暗部细节。压缩格式方面，MJPEG适合低延迟单帧抓拍，H.264/H.265适合多路录像与回传，但会引入编码延迟与块效应，不适合直接作为感知算法输入。
| 格式 | 典型位深/采样 | 带宽 | 车载典型用途 | 注意事项 |
|---|---|---|---|---|
| Bayer RAW | 10/12/14bit | 低 | ISP输入、感知算法 | 需匹配Bayer模式 |
| RGB | 888/565 | 高 | 显示、图形合成 | DDR压力大 |
| YUV422 | 8/10bit | 中 | 视频传输、编码 | 色度细节较好 |
| YUV420 | 8/10bit | 较低 | 录像、回传、显示 | 色度减半 |
| MJPEG | 压缩 | 低 | 抓拍、低延迟预览 | 帧内压缩，码率波动 |
| H.264/H.265 | 压缩 | 最低 | 多路录像、远程回传 | 编码延迟、块效应 |
五、案例与误区复盘
某量产项目在4路环视Camera上直接使用RGB888送入SoC，结果DDR带宽在高温下频繁触发降频，出现丢帧。复盘发现：ISP输出RGB888后，算法又转YUV420再编码，链路中多了一次无谓的RGB转换。改为ISP直接输出NV12后，带宽下降约40%，丢帧消失。
# 典型链路格式配置示例
sensor.output = RAW12, bayer=RGGB
isp.input = RAW12, isp.output = NV12
v4l2.format = NV12 (YUV420), width=1920, height=1080
encoder.input = NV12, encoder.codec = H.265
display.input = RGB888 (由GPU从NV12转换)格式选择不是孤立的技术点，而是贯穿Sensor、ISP、SoC、算法与显示的链路决策。理解RAW、RGB、YUV、Bayer、位深与压缩格式的代价与收益，才能在车载项目的带宽、延迟、画质与成本之间做出平衡。