1. ISP Pipeline 概述：高通ISP架构总览

各位同学，欢迎来到《高通ISP Pipeline全流程拆解》的第一章。

做图像处理这些年，我见过不少工程师一上来就扎进算法细节，结果调了几个月参数，图像质量还是上不去。为什么？说白了，就是没搞懂整个Pipeline是怎么串起来的。今天我们就从全局视角，把高通ISP的架构理清楚。

1.1 从RAW到YUV：一次完整的旅程

想象一下，你拿着手机按下快门。光线穿过镜头，打在传感器上，产生RAW数据。这时的RAW，说白了就是一堆“色盲”的像素点——每个像素只记录了红、绿、蓝中的一种亮度信息。嗯，这离我们看到的彩色照片还差得远。

高通ISP的任务，就是把这堆RAW数据，一步步“加工”成我们肉眼看到的YUV图像。整个过程就像一条流水线，每个模块各司其职。

我个人习惯把这条流水线分成三个阶段：

• 前端预处理：黑电平校正、线性化、LSC（镜头阴影校正）——先把RAW数据“洗干净”
• 核心重建：Demosaic（去马赛克）、AWB（自动白平衡）、AE（自动曝光）——把单通道变成三通道，还原真实色彩
• 后处理增强：Gamma校正、Sharpen（锐化）、NR（降噪）——让图像看起来更“舒服”

你想想看，如果前端没洗干净，后面的模块再怎么调也是白搭。我在项目中遇到过好几次，客户抱怨图像偏色，查了半天，结果发现是LSC没校准好。

1.2 高通ISP架构总览

高通的ISP架构，我习惯叫它“三驾马车”——IFE（图像前端引擎）、IPE（图像处理引擎）、BPS（拜耳处理子系统）。这三个模块分工明确，协同工作。

下面这张图，是我自己总结的高通ISP Pipeline核心流程。你看一眼，就能明白整个架构是怎么串起来的。

1.3 Pipeline中的关键模块

好，现在我们一个个来看这些模块到底在干什么。我挑几个最关键的，也是你面试时一定会被问到的。

1.3.1 Bayer 与 Demosaic

传感器输出的RAW数据，每个像素只记录一种颜色——这就是Bayer格式。最常见的Bayer模式是RGGB，也就是一个像素点周围，红、绿、蓝的排列方式。

Demosaic的任务，就是“猜”出每个像素缺失的另外两种颜色。怎么猜？说白了就是插值。但这里有个坑——如果插值算法太简单，图像边缘就会出现锯齿或伪色。

1.3.2 AWB（自动白平衡）

为什么白炽灯下拍的照片会偏黄？因为传感器“看到”的光源色温变了。AWB的任务，就是让白色物体在任何光源下都呈现白色。

高通平台上的AWB，通常分两步：

1. 色温估计：通过统计图像中的灰点，估算当前光源色温
2. 增益调整：对R、G、B通道分别施加增益，把色温拉回标准D65

我个人习惯在调试AWB时，先看灰卡，再看肤色。灰卡准了，肤色自然就正了。

1.3.3 AE（自动曝光）与 AF（自动对焦）

AE和AF，一个是管“亮不亮”，一个是管“清不清”。

AE的核心是目标亮度。高通ISP支持多种测光模式：全局平均、中心加权、点测光。我建议你在做AE tuning时，先确定场景的亮度分布，再选测光模式。比如逆光场景，用点测光比全局平均靠谱得多。

AF就更有意思了。高通平台支持反差对焦（CDAF）和相位对焦（PDAF）。PDAF速度快，但精度受限于像素结构；CDAF精度高，但速度慢。现在的方案都是两者结合——先用PDAF粗调，再用CDAF精调。

1.3.4 Gamma 校正

Gamma校正，说白了就是“亮度映射”。人眼对暗部细节更敏感，对亮部细节不敏感。Gamma曲线的作用，就是把传感器记录的线性亮度，映射到人眼感知的非线性空间。

高通ISP的Gamma LUT（查找表）通常是12bit输入，10bit输出。你可以在tuning工具里调整曲线的形状。我一般会先调暗部，让暗区细节出来，再调亮部，防止过曝。

1.3.5 Sharpen（锐化）与 NR（降噪）

这两个模块是一对“冤家”。Sharpen增强边缘，NR平滑噪声。但如果你Sharpen太强，噪声也会被放大；NR太强，边缘又会被抹掉。

高通平台提供了多级锐化和降噪参数。我的经验是：先做NR，再做Sharpen。NR要保留边缘，Sharpen要抑制噪声。听起来矛盾，但好的tuning就是在这两者之间找到平衡点。

1.3.6 LSC（镜头阴影校正）

LSC解决的是“暗角”问题。镜头中心透光率高，边缘透光率低，导致图像四周偏暗。高通ISP通过一个二维增益矩阵，对每个像素施加不同的增益，补偿边缘亮度。

LSC的校准，需要在均匀光源下拍摄灰卡。我见过有人偷懒，直接用默认参数，结果拍出来的照片，中心亮、四周暗，怎么调都调不回来。

1.4 模块间的依赖关系

这些模块不是孤立的。它们之间有严格的先后顺序和依赖关系。我整理了一张表，方便你对照。

模块	输入	输出	依赖前置模块
黑电平校正	RAW	校正后RAW	无
LSC	校正后RAW	均匀亮度RAW	黑电平校正
Demosaic	Bayer RAW	RGB	LSC、坏点校正
AWB	RGB	白平衡校正RGB	Demosaic
Gamma	线性RGB	非线性RGB	AWB、色彩校正
Sharpen	YUV	锐化YUV	Gamma、NR
NR	YUV	降噪YUV	Gamma

你看，每个模块都依赖前面的输出。如果前面的模块没调好，后面的模块再怎么努力也白费。这就是为什么我总说，ISP tuning要从源头抓起。

1.5 高通ISP的硬件加速

最后聊一句硬件。高通ISP不是纯软件跑的，它有专门的硬件加速单元——EVA（图像视觉加速器）。EVA负责处理计算密集型的任务，比如Demosaic、NR、Sharpen。这样做的好处是：

• 低延迟：硬件流水线处理，一帧图像几十毫秒搞定
• 低功耗：专用硬件比CPU跑算法省电得多
• 高吞吐：支持4K 60fps甚至更高分辨率

但硬件也有缺点——灵活性差。一旦流片，算法就固定了。所以高通在硬件上做了可配置的寄存器，允许你通过tuning参数调整行为。嗯，这就是我们后面章节要重点讲的内容。