3. 车载摄像头与传感器：从光子到RAW数据的完整链路
车载ISP图像处理系统的输入源头是摄像头模组（Camera Module），而摄像头的核心是CMOS图像传感器（CIS, CMOS Image Sensor）。在自动驾驶和高级辅助驾驶（ADAS）场景中，传感器不仅要“看得见”，还要在逆光、隧道口、夜间会车等极端光照下“看得清”。本章将深入剖析车载CMOS传感器的关键特性（动态范围、低照度、HDR）、镜头与光学特性、RAW数据格式（Bayer、RGGB、RCCB等），以及传感器与ISP之间的物理传输接口（MIPI CSI-2）。理解这一章节，是后续进行ISP调优、图像质量评估和故障排查的基石。
在车载视觉系统中，从镜头到ISP的链路中，每一个环节都会影响最终图像质量。传感器负责将光信号转换为电信号并输出RAW数据，ISP则负责将RAW数据“加工”成人眼或算法可用的图像。本章重点在于理解传感器端的物理特性和数据格式，为后续ISP调试打下基础。
3.1 车载CMOS传感器核心特性
3.1.1 动态范围与HDR（High Dynamic Range）
核心原理：动态范围（Dynamic Range, DR）定义为传感器能同时捕获的最亮信号与最暗信号的比值，通常用dB表示。车载场景中，隧道出口、夜间对向车灯、树荫下的路面等场景的光照差异可达100dB以上，而普通CMOS传感器的单次曝光动态范围通常在60-70dB左右。为了覆盖如此大的亮度范围，车载传感器必须采用HDR技术。
目前主流的车载HDR技术包括：
- 多帧合成HDR（Multi-frame HDR）：连续拍摄短、中、长三帧曝光，在ISP中合成一帧高动态范围图像。优点是技术成熟，但运动物体容易产生“鬼影”（Ghost Artifact）。
- 大像素阱容（Large Full Well Capacity）：通过增大单个像素的感光面积或优化光电二极管结构，提升单帧的动态范围。例如索尼的STARVIS系列和安森美的Hyperlux系列。
- 双转换增益（DCG, Dual Conversion Gain）：在同一帧内，高增益和低增益同时读出，通过片上合成扩展动态范围。这种方式对运动伪影控制较好，是目前高端车载传感器的趋势。
3.1.2 低照度性能（Low Light Performance）
低照度性能直接决定了夜间行车安全。衡量低照度性能的关键指标是灵敏度（Sensitivity）和信噪比（SNR）。灵敏度通常用V/lux·s表示，即在1 lux照度下，1秒曝光时间内像素产生的电压。信噪比则受光子散粒噪声（Shot Noise）、读出噪声（Read Noise）和暗电流（Dark Current）影响。
提升低照度性能的传感器设计手段包括：
- 大像素尺寸：车载传感器像素尺寸通常在3.0μm~4.2μm之间，相比手机传感器的0.7μm~1.0μm大得多，以捕获更多光子。
- 背照式（BSI）技术：将光电二极管置于芯片表层，减少金属布线对光线的遮挡，量子效率（QE）可提升20%-30%。
- 低读出噪声设计：通过列级CDS（相关双采样）和低噪声ADC，将读出噪声控制在2e-以下。
| 性能指标 | 典型值（车载） | 对图像的影响 |
|---|---|---|
| 动态范围（单帧） | 60-70 dB | 高光溢出或暗部噪声 |
| HDR动态范围 | 100-140 dB | 逆光场景细节保留 |
| 灵敏度 | 1.5-3.0 V/lux·s | 低照度下亮度水平 |
| 读出噪声 | 1.5-3.0 e- | 暗部噪点颗粒感 |
| 暗电流 | 0.5-2.0 e-/s @60°C | 长曝光热噪点 |
| 量子效率（QE） | 60%-75% | 整体光响应效率 |
3.2 镜头与光学特性
3.2.1 镜头关键参数
镜头是光信号进入传感器的第一道关口。车载镜头需要满足高低温稳定性、抗震动、防眩光等要求。核心参数包括：
- 视场角（FOV）：前视摄像头通常为30°-60°（窄视场，用于远距离检测），环视摄像头为190°-210°（鱼眼镜头）。
- 光圈（F-number）：光圈越小（F值越大），进光量越少，但景深越大。车载镜头通常使用F/1.6-F/2.0，以平衡进光量和景深。
- 主光线角（CRA）：镜头出射光线与传感器像素法线的夹角。CRA不匹配会导致边缘色彩偏差（Color Shading）。传感器厂商会提供CRA曲线，镜头设计需与之匹配。
- 相对照度（Relative Illumination）：边缘亮度与中心亮度的比值。广角镜头边缘照度下降明显，通常需要ISP的LSC（镜头阴影校正）进行补偿。
3.2.2 红外滤光片（IR-Cut Filter）
人眼可见光范围为380nm-780nm，而CMOS传感器对红外光（700nm-1000nm）也有响应。如果不加滤光片，图像会偏红且灰雾感严重。车载摄像头通常使用带通滤光片，允许可见光通过，截止红外光。但某些特殊应用（如夜视辅助）会使用RGB+IR的传感器方案，此时滤光片需要定制。
背景：某车型前视摄像头（FOV 50°）在量产阶段发现图像边缘区域出现明显的红色和蓝色渐变，尤其在白色墙面场景下极为明显。
分析：通过分析RAW图，发现边缘B通道（蓝色）响应比中心低15%，R通道（红色）响应比中心高8%。进一步检查镜头规格书，发现镜头CRA在像高3.6mm处为28°，而传感器推荐的CRA为25°，偏差3°。
解决：与镜头供应商沟通，重新优化镜头设计，将CRA曲线调整至与传感器匹配。同时，在ISP中调整LSC（Lens Shading Correction）的增益曲线，临时缓解问题。
复盘：镜头与传感器的CRA匹配必须在选型阶段进行仿真验证，不能仅依赖数据手册标称值。ISP的LSC只能补偿亮度差异，无法完全修复因CRA不匹配导致的色彩偏差。
3.3 RAW数据格式：Bayer、RGGB与RCCB
3.3.1 Bayer阵列原理
CMOS传感器的每个像素只能感知光的强度（灰度），无法区分颜色。为了获得彩色图像，需要在像素表面覆盖彩色滤光片（Color Filter Array, CFA）。最常用的CFA是Bayer阵列，其排列方式为：
RGGB 排列（2x2单元）：
R G
G B其中R、G、B分别代表红色、绿色、蓝色滤光片。绿色像素数量是红蓝的两倍，因为人眼对绿色最敏感。RAW数据就是传感器输出的、未经插值处理的Bayer格式数据，每个像素仅包含一个颜色通道的亮度值。
3.3.2 RCCB与RCCC阵列
为了提升低照度性能，部分车载传感器采用RCCB（Red, Clear, Clear, Blue）阵列，即用两个透明（Clear）像素替代两个绿色像素。透明像素没有滤光片，进光量是绿色像素的2-3倍，显著提升灵敏度。但代价是色彩信息减少，需要ISP通过算法从R、C、B通道中重建G通道。
| CFA类型 | 排列 | 灵敏度增益 | 色彩还原 | ISP复杂度 |
|---|---|---|---|---|
| RGGB | R G / G B | 基准 | 优秀 | 低（标准去马赛克） |
| RCCB | R C / C B | 提升约1.5-2倍 | 良好（需算法重建G） | 中（需色彩校正矩阵） |
| RCCC | R C / C C | 提升约2-3倍 | 较差（几乎无彩色） | 高（主要用于自动驾驶感知） |
3.4 传感器与ISP的接口：MIPI CSI-2
3.4.1 MIPI CSI-2协议概述
MIPI CSI-2（Camera Serial Interface 2）是移动和车载领域最主流的摄像头与处理器之间的串行接口标准。它基于差分信号传输，具有高速、低功耗、抗干扰能力强等优点。CSI-2物理层支持D-PHY和C-PHY两种规范，车载应用以D-PHY为主。
CSI-2接口的关键特性：
- Lane（通道）配置：常见配置为1-Lane、2-Lane、4-Lane。每对Lane由差分信号P/N组成，速率可达2.5Gbps/lane（D-PHY v2.0）。
- 数据包格式：传输以“帧起始（FS）”、“行起始（LS）”、“帧结束（FE）”等短包和“RAW数据”长包组成。
- 虚拟通道（Virtual Channel）：支持最多4个虚拟通道，可在一根物理链路上传输多路摄像头数据。
3.4.2 车载接口的工程挑战
在车载环境中，传感器与ISP（或SoC）之间的距离可能超过1米（例如前视摄像头在挡风玻璃处，SoC在座舱内）。此时，直接使用MIPI CSI-2差分线传输会因信号衰减和电磁干扰（EMI）导致数据错误。因此，车载方案通常采用以下两种方式：
- SerDes（Serializer/Deserializer）方案：在摄像头端将MIPI信号转换为高速串行信号（如GMSL2、FPD-Link III），通过同轴电缆传输，在SoC端再转换回MIPI。传输距离可达15米。
- 车载以太网方案：将RAW数据打包为以太网帧传输，但延迟较高，主要用于非实时性应用。
3.4.3 接口配置实例
// 传感器初始化序列（I2C写入示例）
// 设置MIPI 4-Lane模式，RAW10格式，1920x1080@30fps
0x0103: 0x01 // 软件复位
0x0100: 0x00 // 进入待机模式
0x0114: 0x03 // 选择MIPI 4-Lane
0x0117: 0x0A // 设置RAW10格式
0x0340: 0x07 // 垂直总行数高字节
0x0341: 0x80 // 垂直总行数低字节 (1920+预留)
0x0342: 0x04 // 水平总列数高字节
0x0343: 0x38 // 水平总列数低字节 (1080+预留)
0x0100: 0x01 // 进入流模式（开始输出图像）上述配置中，0x0114寄存器设置为0x03表示启用4对数据Lane，0x0117设置为0x0A表示输出RAW10格式（每个像素10bit）。总行数和总列数需要包含消隐区（Blanking），实际有效分辨率为1920x1080。
3.5 常见误区与总结复盘
3.5.1 常见误区
- 误区一：HDR动态范围越大越好。实际上，过高的HDR（如>140dB）会导致色调映射（Tone Mapping）后图像对比度下降，看起来“发灰”。需要根据具体场景（如隧道内外的亮度差）选择合适的HDR目标。
- 误区二：RAW数据是“原始”的，不需要处理。RAW数据虽然未经过ISP处理，但传感器本身会进行一些必要的校正（如黑电平钳位、坏点替换）。ISP调试时，需要先读取传感器的黑电平值，并在ISP中减去该值，否则图像会偏灰。
- 误区三：MIPI Lane数越多越好。Lane数增加会带来更大的功耗和EMI风险。在满足带宽需求的前提下，应优先选择更少的Lane。例如1080p@30fps RAW10仅需约445Mbps带宽，2-Lane即可满足。
3.5.2 总结复盘
本章从传感器物理特性、光学镜头、RAW数据格式和MIPI接口四个维度，构建了车载摄像头前端链路的完整知识框架。在实际项目中，ISP工程师需要与传感器工程师、光学工程师紧密协作，确保从镜头到ISP的每一个环节都工作在最佳状态。关键要点如下：
- 动态范围和低照度性能是车载传感器的核心指标，HDR方案的选择需权衡运动伪影和灵敏度。
- 镜头CRA与传感器的匹配是图像质量的基础，LSC只能作为辅助补偿手段。
- RAW数据格式决定了ISP处理流程的起点，RGGB与RCCB在色彩和灵敏度之间需要取舍。
- MIPI CSI-2接口的物理层配置和信号完整性是系统稳定性的保障，车载长距离传输需借助SerDes方案。