4. 图像传感器与接口协议：CMOS/CCD传感器原理、MIPI、LVDS、DVP等接口时序与采集方法

图像传感器是FPGA图像采集系统的信号源头，其选型、配置与接口时序设计直接决定了整个系统的数据质量与稳定性。本章从传感器内部工作原理出发，深入剖析CMOS与CCD的差异，并重点讲解FPGA工程中最常打交道的三种接口——DVP、LVDS、MIPI CSI-2的时序特征与采集设计方法。理解这些接口的本质，是后续进行图像预处理、缓存与显示输出的基础。

4.1 传感器核心原理与选型对比

4.1.1 CMOS与CCD的物理机制差异

CCD（电荷耦合器件）与CMOS（互补金属氧化物半导体）传感器在光信号转换为电信号的基本原理上相同，均基于光电效应：光子入射到硅基光电二极管上，产生电子-空穴对，光生电荷被收集在势阱中。二者的本质区别在于电荷读出方式。CCD通过垂直与水平移位寄存器，将电荷逐行逐列地"搬运"到输出端的单一放大器进行电荷-电压转换，因此其像素一致性高、暗电流低、动态范围大，但读出速度受限于移位时钟频率，且功耗较高。CMOS传感器则在每个像素内部或邻近位置集成放大器和寻址开关，采用X-Y寻址方式直接读取每个像素的电压信号，因此读出速度快、功耗低、集成度高，但像素间一致性略差，固定模式噪声（FPN）相对明显。

从FPGA采集系统的角度，CMOS传感器几乎已成为主流，原因在于：CMOS支持窗口读出（ROI）、多通道并行输出、高帧率全局快门或卷帘快门，且接口形式丰富（DVP/LVDS/MIPI）。CCD传感器在工业高动态范围、科学级低噪声应用中仍有优势，但其驱动时序复杂，需要多路垂直转移时钟和偏置电压，FPGA侧通常需要外接专用驱动芯片，设计复杂度显著增加。

4.1.2 传感器关键参数与选型维度

选型时需综合评估：传感器输出像素时钟频率 = 分辨率 × 帧率 × 位深 / 输出通道数。例如，一个1080P@60fps、10bit的传感器，若采用4通道LVDS输出，每通道速率约为 (1920×1080×60×10)/4 ≈ 311Mbps，加上消隐开销，实际约350Mbps，此时选用LVDS或MIPI接口较为合适，DVP并行接口的引脚数和PCB布线压力会过大。

4.2 DVP接口时序与采集设计

4.2.1 DVP信号定义与时序约束

DVP（Digital Video Port）是传统的并行图像数据传输接口，信号组包括：像素时钟PCLK、行同步HSYNC、帧同步VSYNC、数据总线D[7:0]或D[11:0]，部分传感器还输出数据有效信号DE（Data Enable）。在FPGA采集设计中，核心任务是正确采样数据总线上的像素值，并利用HSYNC和VSYNC恢复出完整的图像帧结构。

典型DVP时序特征如下：VSYNC有效（高或低电平）表示一帧开始；HSYNC有效表示一行有效像素开始；PCLK上升沿或下降沿（由传感器决定）驱动数据总线更新。FPGA侧需要根据传感器数据手册确定：PCLK的采样沿、HSYNC/VSYNC的有效电平极性、消隐期长度（HBlank/VBlank）、有效像素数等参数。

4.2.2 FPGA采集模块设计要点

在FPGA中实现DVP采集，通常包含以下步骤：

1. IO标准配置：根据传感器IO电压（通常1.8V或2.8V）选择FPGA Bank的VCCO，并设置输入IO标准为LVCMOS18或LVCMOS33。
2. 像素时钟域处理：PCLK作为采集模块的同步时钟，所有输入信号需通过IDDR或简单寄存器链打拍同步，避免亚稳态。
3. 同步信号检测：利用边沿检测逻辑识别VSYNC和HSYNC的有效沿，产生帧起始、行起始标志。
4. 数据打包：将并行像素数据按行写入FIFO或直接生成AXI-Stream协议，包含行有效信号tlast和帧有效信号tuser。

// DVP采集核心逻辑伪代码
always @(posedge pclk) begin
  if (vsync_active) begin
    frame_cnt <= frame_cnt + 1;
    line_cnt <= 0;
  end else if (hsync_active) begin
    line_cnt <= line_cnt + 1;
    pixel_cnt <= 0;
  end else if (de_valid) begin
    pixel_cnt <= pixel_cnt + 1;
    axis_tdata <= {pixel_data};  // 打包像素
  end
end

4.3 LVDS接口与串行数据采集

4.3.1 LVDS传感器输出特点

LVDS（Low-Voltage Differential Signaling）接口在工业相机和高性能传感器中广泛使用，其核心优势是高速差分传输、抗干扰能力强、引脚数量少。传感器将并行像素数据经过内部Serializer转换为串行比特流，通过一对或多对差分线输出。常见的LVDS传感器输出格式包括：4通道或8通道数据线，每通道速率从200Mbps到1Gbps不等，同时伴随一对时钟线。

LVDS采集的难点在于：FPGA需要从高速串行比特流中恢复出并行像素数据，并进行通道间对齐。FPGA内部通常使用ISERDES（Input Serial-to-Parallel Deserializer）原语实现串并转换，配合IDELAY进行比特级对齐，再通过训练序列或同步码实现通道对齐。

4.3.2 LVDS采集链路设计

一个完整的LVDS采集链路包括以下环节：

• 差分输入缓冲：使用IBUFDS将差分信号转换为单端信号，注意终端匹配电阻100Ω应靠近FPGA引脚。
• 时钟处理：LVDS时钟通常为DDR模式（双沿采样），需使用IDDR或ISERDES的DDR模式。
• 串并转换：根据传感器输出格式（如7:1、10:1、14:1），配置ISERDES的宽度。
• 字对齐：传感器在每行起始发送特定的同步码（如0xAA55），FPGA通过检测该码字实现比特滑移对齐。
• 通道对齐：多通道数据需通过FIFO或寄存器延迟调整，确保所有通道的像素数据在同一时刻有效。

4.4 MIPI CSI-2接口协议与FPGA实现

4.4.1 MIPI CSI-2协议分层

MIPI CSI-2（Camera Serial Interface 2）是移动设备和嵌入式视觉领域的事实标准接口，其协议栈分为三层：物理层（D-PHY）、协议层（UniPro/CSI-2 Packet）和应用层。D-PHY采用源同步时钟方案，包含1对时钟线和1~4对数据线，每对数据线以DDR方式传输，速率可达1.5Gbps/Lane。CSI-2协议层定义了长包（Long Packet，用于像素数据）和短包（Short Packet，用于帧同步、行同步等控制信息）两种格式。

FPGA实现MIPI接收时，需要完成以下功能：

1. D-PHY物理层接收：使用FPGA的GTP/GTX高速收发器或专用MIPI IP核，处理差分信号接收、时钟恢复、DDR采样。
2. Lane同步：检测每个数据Lane的HS-Entry序列和同步码，实现Lane内部比特对齐。
3. 协议解析：解析短包中的帧起始（FS）、帧结束（FE）、行起始（LS）等标志，提取长包中的像素数据。
4. 数据重组：将多Lane数据按虚拟通道（Virtual Channel）和数据类型（DataType）重组为并行像素流。

4.4.2 MIPI采集工程实践

在Xilinx平台中，通常使用MIPI CSI-2 RX Subsystem IP核完成物理层和协议层处理，FPGA逻辑只需关注应用层接口（AXI4-Stream）。在Intel平台中，可使用ALTLVDS_RX或第三方IP。若使用纯逻辑实现MIPI接收，需注意高速时钟域与FPGA fabric时钟域的跨时钟域处理，通常使用异步FIFO隔离。

4.5 实战案例：基于MIPI接口的1080P@60fps摄像头采集系统

4.5.1 项目背景与约束

某智能安防项目需要接入一款SONY IMX290传感器，输出为MIPI CSI-2接口，2 Lane，每Lane速率891Mbps，分辨率1080P@60fps，位深10bit。FPGA选用Xilinx Artix-7系列（XC7A75T），该器件无内置MIPI硬核，需使用GTP高速收发器或逻辑实现。项目约束：PCB面积有限，不能使用外部MIPI转LVDS桥接芯片；功耗要求严格，FPGA逻辑资源占用需控制在60%以内。

4.5.2 初始现象与问题定位

首次上电调试时，ILA抓取IP核输出信号，发现AXI-Stream接口的tvalid信号偶尔拉低，导致图像出现随机丢行。进一步分析发现，GTP接收到的数据在Lane对齐阶段频繁失锁，且错误计数持续增加。通过查看GTP的眼图扫描结果，发现数据通道的眼宽仅0.35UI，低于正常要求的0.5UI以上。

4.5.3 分析过程与解决措施

针对眼图闭合问题，从以下维度逐一排查：

• PCB布线检查：使用TDR测试确认MIPI差分对阻抗为98Ω，符合100Ω±10%要求；但发现时钟Lane与数据Lane长度差为12mil，超出±5mil要求，导致时钟与数据偏移增大。
• 电源纹波测量：用示波器测量传感器AVDD_2V8电源，纹波达45mV，超出传感器要求的30mV以内。在传感器电源输入端增加10μF+100nF去耦电容后，纹波降至18mV。
• GTP参考时钟：确认GTP参考时钟为125MHz，抖动为8ps RMS，满足要求。
• 寄存器配置：通过I2C读取传感器状态寄存器，确认传感器输出的差分摆幅为200mV，处于正常范围。

最终采取三项措施：在PCB上对MIPI差分对进行等长补偿（增加蛇形走线）；优化传感器电源滤波；在FPGA中调整GTP的RX Equalizer设置为DFE模式，并增加RX CDR的环路带宽。修改后，眼图宽度提升至0.58UI，错误计数归零，图像输出稳定。

4.5.4 结果与复盘

系统稳定运行后，连续48小时压力测试无丢帧。本次排障的复盘经验：MIPI高速接口调试必须遵循"先物理层、再协议层、后应用层"的顺序。物理层问题（眼图、阻抗、电源）是导致协议层失锁的根本原因，切勿在物理层未达标时盲目修改协议解析逻辑。同时，PCB设计阶段的等长控制与电源滤波是MIPI成功的基石，后期返工代价极高。