2. EyeQ摄像头硬件与成像链路概览
在Mobileye EyeQ平台上做摄像头标定与成像链路工程,第一步不是打开标定工具,而是把“光子如何变成感知输入”这条通路彻底看清楚。因为标定参数、图像质量、时间戳、同步信号,最终都依附在这条链路的某个具体环节上。如果链路层级不清,后续遇到图像偏色、帧率不稳、标定不收敛时,就很难判断问题出在光学、传感器、ISP,还是EyeQ接口与数据流。
本节从工程视角拆解EyeQ摄像头从镜头到感知输入的完整通路,重点说明每个环节的输入输出、关键参数、常见接口形态,以及它们如何影响标定与感知结果。
一、从光子到数字帧:链路的五个物理层级
EyeQ摄像头链路可以抽象为五个层级:镜头(Lens)→ 图像传感器(Image Sensor)→ 串行器与链路(Serializer / Link)→ ISP与图像处理 → EyeQ芯片接口与数据流。前两者属于光学与光电转换,中间是高速串行传输,后两者是数字图像处理与感知输入。
镜头负责把场景光线聚焦到传感器感光面。它的核心参数包括焦距、视场角(FOV)、光圈(F-number)、畸变模型和主点位置。对EyeQ前视摄像头而言,常见水平FOV约50°~100°,光圈F2.0左右,镜头畸变以径向畸变为主。标定中的内参矩阵和畸变系数,本质上就是在描述这个镜头与传感器组合的几何映射关系。
图像传感器完成光电转换,把光强变成模拟电压,再经内部ADC转为数字像素。关键参数有分辨率、像素尺寸、快门类型(卷帘/全局)、动态范围(HDR)、曝光时间与增益。EyeQ平台常用传感器如AR0231、IMX490等,支持多曝光HDR合成。传感器输出的不是最终图像,而是Bayer格式的原始RAW数据,例如RCCC、RGGB或RCCB。这一步的曝光与增益直接决定图像亮度与噪声,也影响标定板角点检测的稳定性。
二、串行链路:从传感器到EyeQ的物理通道
传感器与EyeQ之间通常不是并行直连,而是通过GMSL、FPD-Link或MIPI CSI-2等串行链路传输。以GMSL2为例,同轴电缆同时承载高速视频、控制通道和供电(PoC)。链路的关键工程点包括:
- 带宽匹配:分辨率×帧率×位宽决定链路速率,例如1920×1080@30fps、RAW12,约需1.5Gbps以上有效带宽。
- 时钟与同步:传感器需要外部参考时钟,EyeQ通过I2C或SPI配置传感器寄存器,并通过同步信号实现多摄像头曝光同步。
- 链路诊断:误码、丢帧、I2C通信失败都会表现为图像异常,需在链路层先排除。
这段链路是“物理层”,标定本身不直接修改它,但链路不稳定会导致图像撕裂、帧号跳变,使标定数据不可信。
三、ISP与EyeQ接口:RAW到感知输入的转换
EyeQ芯片内部集成ISP或由专用ISP完成图像处理。典型处理链包括:黑电平校正(BLC)、镜头阴影校正(LSC)、去马赛克(Demosaic)、白平衡(AWB)、色彩校正(CCM)、伽马、锐化与降噪。对于感知任务,EyeQ往往更关注亮度通道和几何保真度,而非人眼观感。
ISP输出通常为YUV或RGB,再送入EyeQ的感知流水线。EyeQ接口层需要关注:输入格式(RAW/YUV)、分辨率、帧率、时间戳来源、DMA通道与内存布局。标定使用的图像,最好来自与感知同一路ISP输出,避免“标定用一路、感知用另一路”造成参数不一致。
四、数据流与标定的关系
把链路串起来看,数据流是:场景光子 → 镜头聚焦 → 传感器光电转换与RAW输出 → 串行链路 → ISP处理 → EyeQ接口 → 感知输入。标定参数作用于其中两个位置:镜头/传感器几何关系(内参、外参、畸变),以及ISP后的图像几何(若ISP做了裁剪或缩放)。
因此,标定不是孤立操作,而是对这条链路几何与光度特性的建模。理解链路后,遇到标定误差时就能定位:是镜头畸变模型选错,还是传感器曝光导致角点模糊,还是ISP裁剪改变了主点,还是链路丢帧导致标定帧不同步。
五、工程检查清单:链路确认后再标定
在进入标定前,建议按以下顺序确认链路状态。这不是形式化流程,而是避免返工的最小检查集:
| 检查项 | 确认内容 | 异常表现 |
|---|---|---|
| 镜头与传感器匹配 | 像圈覆盖传感器感光面,无暗角 | 四角发暗、边缘模糊 |
| 传感器输出格式 | RAW位宽、Bayer排列与ISP配置一致 | 颜色错乱、偏绿或偏紫 |
| 串行链路 | 无丢帧、误码,I2C可读写 | 图像撕裂、帧号跳变 |
| ISP输出 | 分辨率、裁剪、缩放与标定假设一致 | 主点偏移、畸变模型失配 |
| EyeQ接口 | 时间戳来源统一,多摄同步有效 | 标定帧不同步、外参漂移 |