3. 像素数据流与接口协议

各位同学，今天我们来聊聊ISP流水线里最基础、也最容易出问题的一环——像素数据怎么进来、怎么存、怎么传。说白了，就是数据流和接口协议。我在做第一个ISP项目时，就因为没搞懂RAW数据的位宽对齐，浪费了两周时间查bug。嗯，咱们今天就把这块彻底讲透。

3.1 像素数据格式：从RAW8到RAW16

传感器输出的原始数据，通常叫RAW格式。它其实就是每个像素点的亮度值，还没经过任何处理。常见的位宽有8、10、12、14、16 bit。你可能会问：为什么不用统一的位宽？

原因很简单——不同应用场景对精度和带宽的要求不一样。手机摄像头常用RAW10或RAW12，工业相机可能用到RAW14，天文或医疗设备甚至会用到RAW16。我见过一个项目，为了省带宽硬上RAW8，结果暗部噪声惨不忍睹，最后不得不改方案。

格式	位宽	典型应用	单像素存储
RAW8	8 bit	低端摄像头、监控	1 Byte
RAW10	10 bit	手机摄像头、消费电子	2 Byte（高6位填充0）
RAW12	12 bit	车载摄像头、工业视觉	2 Byte（高4位填充0）
RAW14	14 bit	专业相机、医疗成像	2 Byte（高2位填充0）
RAW16	16 bit	科学级相机、天文	2 Byte

3.2 行缓冲（Line Buffer）设计

行缓冲是ISP流水线的“临时仓库”。为什么需要它？因为很多算法（比如去噪、插值）需要同时访问多行像素。你想想看，如果只来一行数据就处理一行，那3x3的滤波窗口怎么算？

行缓冲的本质就是一个FIFO，但它的深度等于图像宽度。我常用的实现方式有两种：

• 寄存器阵列：适合小尺寸图像（宽度 < 128），延迟低，但面积大。
• 单口/双口SRAM：适合大尺寸图像（宽度 > 512），面积小，但需要处理好读写时序。

举个例子，一个1080p的RAW10图像，行缓冲需要存储1920个像素，每个像素2 Byte，那就是3840 Byte。用SRAM实现，大概需要1块4Kx8的单口SRAM。

3.3 帧同步信号：VSYNC / HSYNC / DE

这三个信号是ISP与传感器之间的“握手协议”。你如果搞错过它们的时序关系，画面大概率是花的。

• VSYNC（垂直同步）：帧开始/结束的标志。高电平有效时，表示一帧数据开始传输。
• HSYNC（水平同步）：行开始/结束的标志。每来一个脉冲，表示新一行开始。
• DE（数据使能）：有效像素数据的标志。DE为高时，数据线上的值才是有效的。

我见过不少新手把HSYNC和DE搞混。记住一句话：HSYNC告诉你行边界在哪，DE告诉你哪些像素是有效的。在行消隐期间，DE是低的，这时候数据线可能是垃圾值，千万别采。

3.4 AXI4-Stream接口在ISP中的应用

AXI4-Stream是Xilinx和AMD力推的高速流式接口，在ISP里用得越来越多。它只有数据通道，没有地址通道，非常适合像素数据的流水线传输。

核心信号就几个：

• TVALID：主设备告诉从设备，数据有效。
• TREADY：从设备告诉主设备，可以接收数据。
• TDATA：数据总线，位宽通常是像素位宽的整数倍。
• TLAST：一行的最后一个数据。
• TUSER：用户自定义信号，我常用它来传递帧起始和行起始信息。

一个典型的ISP模块接口长这样：

// AXI4-Stream Slave Interface (输入)
input  wire         s_axis_tvalid;
output wire         s_axis_tready;
input  wire [15:0]  s_axis_tdata;   // RAW10/12/14/16 统一用16bit
input  wire         s_axis_tlast;
input  wire [1:0]   s_axis_tuser;   // bit0: SOF, bit1: SOL

// AXI4-Stream Master Interface (输出)
output wire         m_axis_tvalid;
input  wire         m_axis_tready;
output wire [15:0]  m_axis_tdata;
output wire         m_axis_tlast;
output wire [1:0]   m_axis_tuser;

3.5 数据流与接口协议知识体系

下面这张图总结了本章的核心内容，从传感器输出到ISP内部处理的数据流路径：

3.6 实战中的常见问题

最后，我总结几个实际项目中容易踩的坑：

1. RAW数据位宽不匹配：传感器输出10 bit，但内部模块用16 bit处理，忘记对齐会导致数据偏移。我建议统一用左对齐（高位对齐）。
2. 行缓冲深度不够：图像宽度变化时（比如从1080p切到720p），缓冲深度要能自适应。我习惯用参数化设计，深度可配置。
3. AXI4-Stream握手死锁：如果上下游模块的TVALID和TREADY互相等待，就会死锁。解决办法是确保每个模块在复位后至少能发出一次TREADY。
4. 同步信号毛刺：传感器过来的VSYNC/HSYNC可能有毛刺。我习惯在RTL里加一级同步器（两个触发器级联）来消除亚稳态。