2. EyeQ摄像头硬件与成像链路概览

在Mobileye EyeQ平台上做摄像头标定与成像链路工程,第一步不是打开标定工具,而是把“光子如何变成感知输入”这条通路彻底看清楚。因为标定参数、图像质量、时间戳、同步信号,最终都依附在这条链路的某个具体环节上。如果链路层级不清,后续遇到图像偏色、帧率不稳、标定不收敛时,就很难判断问题出在光学、传感器、ISP,还是EyeQ接口与数据流。

本节从工程视角拆解EyeQ摄像头从镜头到感知输入的完整通路,重点说明每个环节的输入输出、关键参数、常见接口形态,以及它们如何影响标定与感知结果。

一、从光子到数字帧:链路的五个物理层级

EyeQ摄像头链路可以抽象为五个层级:镜头(Lens)→ 图像传感器(Image Sensor)→ 串行器与链路(Serializer / Link)→ ISP与图像处理 → EyeQ芯片接口与数据流。前两者属于光学与光电转换,中间是高速串行传输,后两者是数字图像处理与感知输入。

镜头负责把场景光线聚焦到传感器感光面。它的核心参数包括焦距、视场角(FOV)、光圈(F-number)、畸变模型和主点位置。对EyeQ前视摄像头而言,常见水平FOV约50°~100°,光圈F2.0左右,镜头畸变以径向畸变为主。标定中的内参矩阵和畸变系数,本质上就是在描述这个镜头与传感器组合的几何映射关系。

图像传感器完成光电转换,把光强变成模拟电压,再经内部ADC转为数字像素。关键参数有分辨率、像素尺寸、快门类型(卷帘/全局)、动态范围(HDR)、曝光时间与增益。EyeQ平台常用传感器如AR0231、IMX490等,支持多曝光HDR合成。传感器输出的不是最终图像,而是Bayer格式的原始RAW数据,例如RCCC、RGGB或RCCB。这一步的曝光与增益直接决定图像亮度与噪声,也影响标定板角点检测的稳定性。

二、串行链路:从传感器到EyeQ的物理通道

传感器与EyeQ之间通常不是并行直连,而是通过GMSL、FPD-Link或MIPI CSI-2等串行链路传输。以GMSL2为例,同轴电缆同时承载高速视频、控制通道和供电(PoC)。链路的关键工程点包括:

  • 带宽匹配:分辨率×帧率×位宽决定链路速率,例如1920×1080@30fps、RAW12,约需1.5Gbps以上有效带宽。
  • 时钟与同步:传感器需要外部参考时钟,EyeQ通过I2C或SPI配置传感器寄存器,并通过同步信号实现多摄像头曝光同步。
  • 链路诊断:误码、丢帧、I2C通信失败都会表现为图像异常,需在链路层先排除。

这段链路是“物理层”,标定本身不直接修改它,但链路不稳定会导致图像撕裂、帧号跳变,使标定数据不可信。

三、ISP与EyeQ接口:RAW到感知输入的转换

EyeQ芯片内部集成ISP或由专用ISP完成图像处理。典型处理链包括:黑电平校正(BLC)、镜头阴影校正(LSC)、去马赛克(Demosaic)、白平衡(AWB)、色彩校正(CCM)、伽马、锐化与降噪。对于感知任务,EyeQ往往更关注亮度通道和几何保真度,而非人眼观感。

ISP输出通常为YUV或RGB,再送入EyeQ的感知流水线。EyeQ接口层需要关注:输入格式(RAW/YUV)、分辨率、帧率、时间戳来源、DMA通道与内存布局。标定使用的图像,最好来自与感知同一路ISP输出,避免“标定用一路、感知用另一路”造成参数不一致。

工程建议:标定前先确认图像来源是RAW还是ISP后图像。若标定使用ISP后图像,则畸变模型应包含ISP的几何校正;若使用RAW,则需自行处理Bayer与镜头畸变。

四、数据流与标定的关系

把链路串起来看,数据流是:场景光子 → 镜头聚焦 → 传感器光电转换与RAW输出 → 串行链路 → ISP处理 → EyeQ接口 → 感知输入。标定参数作用于其中两个位置:镜头/传感器几何关系(内参、外参、畸变),以及ISP后的图像几何(若ISP做了裁剪或缩放)。

因此,标定不是孤立操作,而是对这条链路几何与光度特性的建模。理解链路后,遇到标定误差时就能定位:是镜头畸变模型选错,还是传感器曝光导致角点模糊,还是ISP裁剪改变了主点,还是链路丢帧导致标定帧不同步。

EyeQ摄像头成像链路:从光子到感知输入 光学 → 光电转换 → 串行传输 → ISP → EyeQ接口 → 感知 镜头 Lens 焦距 / FOV 光圈 F-number 径向畸变 主点位置 光子 → 聚焦 图像传感器 分辨率 / 像素尺寸 卷帘/全局快门 HDR 多曝光 曝光 / 增益 光 → RAW Bayer 串行链路 GMSL / FPD-Link MIPI CSI-2 同轴 / PoC 供电 I2C 配置 / 同步 RAW → 高速串行 ISP 处理 BLC / LSC Demosaic / AWB CCM / Gamma 锐化 / 降噪 RAW → YUV/RGB EyeQ 接口与数据流 输入格式 RAW/YUV 时间戳 / 帧号 DMA / 内存布局 感知流水线输入 YUV → 感知 标定参数作用位置 内参 / 畸变 / 主点 曝光 / 增益 / 同步 ISP 几何裁剪 / 缩放 时间戳 / 帧同步 工程判断路径 角点模糊 → 查曝光/增益;图像偏色 → 查AWB/CCM;标定不收敛 → 查畸变模型与主点;帧跳变 → 查链路与同步 标定图像应与感知输入同源,避免 RAW 与 ISP 后图像混用

五、工程检查清单:链路确认后再标定

在进入标定前,建议按以下顺序确认链路状态。这不是形式化流程,而是避免返工的最小检查集:

检查项 确认内容 异常表现
镜头与传感器匹配 像圈覆盖传感器感光面,无暗角 四角发暗、边缘模糊
传感器输出格式 RAW位宽、Bayer排列与ISP配置一致 颜色错乱、偏绿或偏紫
串行链路 无丢帧、误码,I2C可读写 图像撕裂、帧号跳变
ISP输出 分辨率、裁剪、缩放与标定假设一致 主点偏移、畸变模型失配
EyeQ接口 时间戳来源统一,多摄同步有效 标定帧不同步、外参漂移