📚 课程目录第1章高通ISP架构概览

第一章高通ISP架构概览：从传感器到显示器的图像数据流

各位好，我是老高。在高通平台做相机系统优化，前前后后也有七八年了。今天咱们聊聊ISP的整个数据流——说白了，就是一张照片从镜头进来，到屏幕上显示出来，中间到底经历了什么。

很多人刚接触高通平台时，总觉得ISP是个黑盒子。传感器给个RAW数据，出来就是漂亮的照片了。其实不然。这里面的门道，我当年也是踩了不少坑才摸清楚的。

先看一张整体流程图，把脉络理清楚。

这张图我建议你多看两眼。它把整个ISP流水线分成了三段：前端、主处理、后端。每一段处理的数据格式都不一样。我刚开始做高通平台时，总以为ISP就是一个大模块，后来才发现，每一段都有自己的硬件加速器，配置方式也完全不同。

传感器出来的数据，就是Bayer RAW。每个像素只记录一种颜色——R、G、B中的一种。为什么是绿色多一倍？因为人眼对绿色最敏感。这个设计，说白了就是模仿人眼的视觉特性。

Bayer域要处理的事情不少：

个人经验：Bayer域的处理，能早做就早做。我曾经为了省一点功耗，把BLC放到后面做，结果AWB统计全偏了。后来老老实实按高通推荐的pipeline顺序来，再没出过类似问题。

Bayer数据只有1/3的颜色信息，Demosaic就是要把缺失的颜色猜出来。怎么猜？插值。

最简单的做法是双线性插值——周围四个像素平均一下。但这样边缘会有锯齿。高通平台用的是自适应插值，会根据边缘方向选择插值权重。

这里有个关键点：Demosaic的质量直接决定了后续所有处理的上限。如果这一步搞砸了，后面再怎么调色彩、降噪，都救不回来。

注意：Demosaic不是越复杂越好。在高通平台上，我见过有人把算法搞得太复杂，导致帧率掉了一半。要平衡画质和性能，建议先用高通自带的硬件Demosaic，效果不够再考虑加软件后处理。

Demosaic之后，每个像素都有了R、G、B三个值。这时候就可以做真正的色彩处理了：

你想想看，RGB域处理完，图像已经很好看了。但为什么还要转到YUV？

YUV把亮度和色度分开。Y是亮度，U和V是色度。人眼对亮度敏感，对色度不敏感。所以YUV域可以放心地对色度做降采样，节省带宽。

高通平台在YUV域主要做这些事：

高通ISP之所以强，很大程度上靠的是硬件加速器。软件做一遍同样的算法，功耗和延迟都扛不住。

我列一下高通平台常见的硬件加速器：

IFE（Image Front-End）：处理Bayer域，包括BLC、LSC、DPC等。速度极快，一条流水线搞定。
IPE（Image Processing Engine）：处理RGB和YUV域，包括Demosaic、CCM、Gamma、NR、Sharpen等。这是ISP的核心。
BPS（Bayer Processing Segment）：有些平台把Bayer处理单独拿出来，和IFE配合使用。
VFE（Video Front-End）：视频专用的前端处理，和IFE类似但针对视频流优化。

  关键点：这些硬件加速器不是独立的，它们通过“pipeline”串联起来。高通平台允许你配置每个模块的开关和参数，但pipeline的顺序是固定的。别想着把Demosaic放到IFE前面做——硬件不支持。

我记得有一次，客户想在IFE阶段加一个自定义的降噪算法。我跟他说，IFE只处理Bayer域，你加不了RGB算法。后来我们在IPE阶段用高通自带的NR硬件，调了调参数，效果一样好。这就是硬件加速器的好处——你不需要自己写算法，调参就行。

最后，咱们串一下整个流程：

整个过程，从传感器曝光到屏幕显示，延迟通常在30ms以内。你按下快门，照片就出来了。这背后，是ISP硬件加速器和3A算法在毫秒级别内完成了数十亿次运算。

嗯，第一章就到这里。内容不多，但都是基础。后面的章节，我们会深入每个模块的细节，包括怎么调参、怎么debug、怎么优化性能。到时候，我会把我在项目中遇到的实际案例拿出来，跟大家一起分析。

第一章 高通ISP架构概览：从传感器到显示器的图像数据流