2. ISP基础与图像处理管线

ISP（Image Signal Processor，图像信号处理器）是相机系统中负责把传感器输出的原始电信号逐步转换为可显示、可编码、可分析图像的核心模块。它既是一段硬件流水线，也是一套图像处理算法的集合。理解 ISP 的基本流程、RAW 域与 YUV 域的差异、Bayer 格式的排列规律，以及 3A（AE/AWB/AF）在管线中的位置，是后续联调与画质调优的基础。

一、ISP 基本流程：从光子到像素

传感器输出的并不是我们看到的彩色图像，而是每个像素只包含一种颜色分量的 RAW 数据。ISP 的任务就是把这些“残缺”的数据补全、校正、增强，最终输出符合人眼观感和编码要求的图像。典型流程可以概括为以下几个阶段：

• 黑电平校正（BLC）：扣除传感器暗电流带来的基底偏移，使暗部从 0 开始。
• 镜头阴影校正（LSC）：补偿镜头边缘进光量下降导致的四角变暗。
• 坏点校正（DPC）：检测并替换传感器上的死点或亮点。
• 去马赛克（Demosaic）：把 Bayer 格式的单一颜色分量还原为每个像素都有 R/G/B 的完整彩色图像。
• 白平衡（AWB）与色彩校正（CCM）：让白色在不同色温下仍然呈现为白色，并校正色彩偏差。
• Gamma 与色调映射：把线性光信号映射到符合显示特性的非线性空间。
• 降噪与锐化：在噪声和细节之间取得平衡。
• 格式转换：输出 YUV、RGB 或压缩前的图像数据。

这些模块并非严格串行，很多 ISP 会在 RAW 域和 YUV 域分别安排处理节点。理解每个节点处理的是哪种数据、依赖哪些参数，是联调时定位问题的关键。

二、RAW 域与 YUV 域：两种数据视角

RAW 域是传感器最原始的输出，每个像素只有一个颜色分量，数据线性、动态范围大、噪声明显，但保留了最多的原始信息。YUV 域则是经过去马赛克、色彩转换后的图像，Y 表示亮度，U/V 表示色度，更接近人眼感知，也便于压缩和显示。

两者的核心差异可以用下表概括：

联调时经常遇到“RAW 看着正常，YUV 偏色”或“YUV 亮度合适，RAW 已经过曝”的情况，本质就是两个域的处理目标不同。RAW 域更关注信息保真，YUV 域更关注观感与编码效率。

三、Bayer 格式：颜色滤波阵列的排列规律

Bayer 格式是当前最主流的颜色滤波阵列（CFA）排列方式。它在每个像素上只放置一个颜色滤镜，通过 2×2 的重复单元覆盖整个传感器。最常见的排列有 RGGB、BGGR、GRBG、GBRG 四种，区别在于 2×2 单元中 R、G、B 的位置顺序。

以 RGGB 为例，其 2×2 单元为：

R  G
G  B

这意味着第一行是 R、G 交替，第二行是 G、B 交替。去马赛克算法需要根据周围像素插值出缺失的颜色分量。如果 Bayer 排列顺序配置错误，图像会出现明显的偏色或棋盘格伪影，这是联调中最常见的低级错误之一。

四、图像质量评价指标

ISP 调优不能只靠“看着舒服”，还需要量化指标。常用指标包括：

• 亮度与对比度：平均亮度、直方图分布、动态范围。
• 色彩准确度：ΔE、色卡还原误差、白平衡偏差。
• 噪声：SNR、暗部噪声、色噪水平。
• 清晰度：MTF、边缘锐度、纹理保留度。
• 伪影：去马赛克伪彩、摩尔纹、过锐白边。

这些指标往往互相制约：降噪强则细节损失，锐化强则噪声放大，饱和度提升则色噪增加。联调的本质就是在这些矛盾中找到符合产品定位的平衡点。

五、3A 在 ISP 管线中的位置

3A 指 AE（自动曝光）、AWB（自动白平衡）、AF（自动对焦）。它们不是 ISP 流水线中某个单独的“处理模块”，而是贯穿整个管线的控制回路。AE 和 AWB 主要依赖 RAW 域的统计信息，AF 则常利用 YUV 域的对比度或相位信息。

下图展示了 ISP 基本管线与 3A 控制回路的相对位置关系：

从图中可以看到，AE 和 AWB 从 RAW 域获取统计信息，计算曝光和增益后反馈给传感器与 ISP；AF 则更多依赖 YUV 域的清晰度评价，驱动马达调整对焦位置。三者共同构成闭环，逐帧迭代收敛。

六、常见误区与联调复盘

复盘一个典型场景：某项目在室内暖光下拍摄，YUV 图像整体偏黄，但 RAW 图看起来正常。排查发现 AWB 统计区域包含了大量黄色墙面，导致白平衡向暖色偏移。调整统计权重后问题解决。这说明 3A 的效果高度依赖统计信息的选取，而统计信息又来自 ISP 管线中的特定节点。

掌握 ISP 基本流程、RAW/YUV 域差异、Bayer 格式和 3A 位置，就建立了后续联调的知识地图。遇到画质问题时，可以按“RAW 域是否正常 → 3A 统计是否合理 → YUV 域处理是否过激”的顺序逐层排查，而不是盲目调参。