4. ISP基础概念
车载摄像头ISP（Image Signal Processor）是连接CMOS图像传感器与后续感知/显示系统的核心处理单元。在环视拼接系统中，四路甚至八路鱼眼摄像头采集到的RAW数据必须经过ISP流水线处理，才能输出亮度一致、色彩准确、噪声可控的YUV图像，供拼接算法进行特征匹配与融合。理解ISP流水线各模块的功能，是调试环视图像质量、解决亮度不均、偏色、闪烁等问题的前提。本章将按流水线顺序，逐一拆解黑电平校正、镜头阴影校正、坏点校正、去噪、白平衡、色彩校正、伽马校正等核心模块的原理、实现方法与工程调优要点。
4.1 黑电平校正（BLC）
核心原理：CMOS传感器在无光照条件下，像素仍会因暗电流产生一定的电压输出，这个偏移量称为黑电平。黑电平值通常为ADC输出范围的2%~5%（如10-bit RAW中典型值为32~64）。黑电平校正的目的就是从每个像素的RAW值中减去该固定偏移，使纯黑场景对应数字0，从而恢复真实的信号动态范围。
判断方法与操作流程：在工程调试中，通常采用以下步骤确定黑电平值：
- 盖上镜头盖（或使用机械快门遮挡），采集100帧以上RAW图像；
- 统计所有像素的均值或中位数，作为初始黑电平值；
- 将黑电平值写入ISP寄存器，观察暗场输出是否接近0且无偏色；
- 若暗场出现R/G/B分量不一致，需分别对R、Gr、Gb、B四个通道独立设置黑电平。
4.2 镜头阴影校正（LSC）
核心原理：由于镜头光学特性（特别是鱼眼镜头），边缘光线入射角大，导致传感器边缘感光强度低于中心区域，表现为图像四周变暗、色彩偏移。镜头阴影校正通过为每个像素位置提供独立的增益系数（通常以网格形式存储），补偿亮度衰减。鱼眼镜头边缘亮度可能仅为中心的30%~50%，因此LSC增益可达2~4倍。
操作流程：LSC标定通常在产线或实验室完成：
- 拍摄均匀亮度图卡（如DNP灯箱或积分球光源）；
- 计算每个网格点（如17x13或33x25）相对于中心区域的增益系数；
- 将增益表烧录到ISP的OTP或外部Flash中；
- 运行时ISP按像素位置插值计算增益并乘到RAW值上。
4.3 坏点校正（DPC）
核心原理：传感器制造过程中难免产生坏点（Dead Pixel）或亮点（Hot Pixel），表现为固定位置的异常亮或暗像素。坏点校正分为静态校正（产线标定坏点坐标表）和动态校正（实时检测异常像素）。动态校正通常基于邻域像素比较：若当前像素与周围8邻域像素的差值超过阈值，则判定为坏点，用邻域中值或均值替换。
案例拆解：某项目使用AR0233传感器，在-20℃低温测试时发现图像出现大量随机亮点。分析发现：低温下传感器暗电流增大，部分像素的暗电流显著高于平均水平，被动态DPC误判为坏点。解决方案：
- 将动态DPC阈值从默认的40（10-bit）提高到80；
- 同时启用静态坏点表，将产线标定的固定坏点优先处理；
- 在ISP中增加“坏点聚类”功能，连续3帧同一位置被判定为坏点才执行替换，避免误杀。
结果：亮点数量从平均120个/帧降至5个/帧以下，图像质量明显改善。
4.4 去噪（NR）
核心原理：车载摄像头噪声主要来源包括：光子散粒噪声（与信号强度平方根成正比）、暗电流噪声、读出噪声和量化噪声。去噪模块通常包含2D空间降噪（如双边滤波）和3D时域降噪（多帧叠加）。在环视系统中，由于四路摄像头帧率必须同步，3D降噪的帧缓存设计需谨慎。
工程要点：
- 2D降噪强度不宜过大，否则会损失边缘细节，影响后续拼接算法的特征点提取；
- 3D降噪在车辆静止时效果最佳，但车辆行驶时运动伪影风险增加，需配合运动检测自适应调整强度；
- 建议在ISP中分别设置亮度噪声和色度噪声阈值，色度噪声通常可以更激进地抑制。
4.5 白平衡（AWB）
核心原理：白平衡用于消除不同色温光源（如日光5500K、卤素灯3200K、LED 4000K）对物体颜色的影响。AWB算法估计当前光源色温，计算R、B通道的增益（G通道通常固定为1.0），使白色物体在任何光源下都呈现为白色。车载场景光源复杂（隧道、树荫、路灯），AWB稳定性直接影响环视拼接的色彩一致性。
判断方法：在环视系统中，四路摄像头必须使用相同的AWB增益，否则拼接缝两侧会出现明显色差。常见做法有两种：
| 方案 | 实现方式 | 优点 | 缺点 |
|---|---|---|---|
| 独立AWB | 每路ISP独立计算增益 | 适应各方向光照差异 | 拼接缝色差明显 |
| 主从AWB | 以某一路为基准，其余跟随 | 色彩一致性好 | 单路失效影响全局 |
| 融合AWB | 四路统计信息融合后统一增益 | 兼顾一致性与适应性 | 算法复杂度高 |
推荐在环视系统中使用融合AWB方案，即四路ISP分别统计色温信息，由主控SoC汇总后计算统一增益，再写回四路ISP。
4.6 色彩校正（CCM）
核心原理：CMOS传感器的色彩响应与人眼视觉特性存在差异，需要通过3x3颜色校正矩阵将传感器RGB空间映射到标准sRGB或BT.709空间。CCM矩阵通常在标准光源（D65、A光源等）下拍摄色卡（如X-Rite ColorChecker）标定获得。
操作流程：
- 在标准光源下拍摄24色色卡；
- 提取每个色块的RAW RGB平均值；
- 与标准Lab值对比，通过最小二乘法求解3x3矩阵；
- 在ISP中验证并微调饱和度与色相。
4.7 伽马校正（Gamma）
核心原理：伽马校正将线性光信号映射到非线性空间，以匹配显示设备的响应特性并提升暗部细节。标准伽马曲线为：Y_out = Y_in^(1/γ)，其中γ通常取2.2。在车载ISP中，伽马曲线通常以查找表（LUT）形式实现，支持自定义曲线。
工程实践：环视拼接对伽马曲线有特殊要求：
- 四路摄像头必须使用完全相同的伽马LUT，否则拼接区域亮度不连续；
- 暗部提升过大会放大噪声，建议在伽马之前完成去噪；
- 对于HDR场景，可使用分段伽马曲线（如S-curve）兼顾暗部与亮部细节。
典型调试流程：先使用标准γ=2.2曲线，观察拼接缝亮度差异；若差异明显，检查LSC是否准确；若整体偏暗，适当提升暗部斜率（如0~64灰度区间增益从1.0提至1.2）。
4.8 总结与常见误区
常见误区一：认为ISP参数可以“一套走天下”。实际上，不同摄像头模组（不同镜头、不同传感器）必须单独标定LSC、CCM和AWB参数。即使同一型号，批次差异也可能导致参数偏移。
常见误区二：忽略流水线顺序的影响。例如，先做Gamma再做CCM会导致色彩校正不准确，因为Gamma是非线性变换，会改变色彩比例。
常见误区三：过度追求单路图像质量而忽略四路一致性。环视系统的核心指标是拼接缝处的亮度差和色差，建议在调试时使用同一场景、同一光源下四路同时采集对比。