第1章：ISP Pipeline概览与高通平台架构
各位好，我是老赵。做图像信号处理这行十几年了，从早期的功能机一路跟到现在的骁龙8系，踩过的坑确实不少。今天咱们先聊聊ISP Pipeline的基础框架，以及高通平台是怎么把这些模块串起来的。
很多人一上来就扎进某个模块的寄存器配置里，结果调了半天发现是前级数据格式没对齐。我个人习惯是，先看整体数据流，再定位具体问题。你想想看，一条流水线十几个模块，数据从Sensor进来，到最终YUV输出，中间任何一环出问题，画面都会崩。
1.1 ISP是什么？说白了就是“修图引擎”
ISP的全称是Image Signal Processor，图像信号处理器。它的任务就是把CMOS传感器输出的原始Bayer数据，处理成人眼看着舒服、算法能用的RGB或YUV图像。
我经常跟新同事打比方：Sensor拍出来的Raw图就像一块璞玉，有噪点、偏色、暗角、模糊。ISP就是那个雕刻师傅，去噪、白平衡、锐化、色彩校正，一步步把它打磨成成品。
核心要点：ISP处理的是“不完美”的原始数据。如果你把ISP当成黑盒，出了问题就无从下手。理解每个模块在做什么，是定位问题的第一步。
1.2 高通骁龙平台ISP架构：不止一个“ISP”
高通的ISP架构跟其他平台不太一样。它不是一个单一模块，而是由多个专用硬件单元组成的流水线。我记得第一次看骁龙865的ISP框图时，IFE、IPE、VPU、LRME这些缩写看得我眼花。后来调了几个项目才摸清楚它们的脾气。
下面这张图是我自己整理的骁龙ISP核心数据流，你可以先有个整体印象：
1.3 核心模块详解
咱们一个一个来看。每个模块都有它的脾气，也有它容易出问题的地方。
IFE (Image Front-End) — 前端处理
IFE是数据进入ISP的第一站。它直接接收Sensor的Raw数据，做Bayer域的处理。包括黑电平校正、去噪、坏点校正、镜头阴影校正这些。
我遇到过的问题：有一次项目上画面四角发红，查了半天发现是IFE的LSC（镜头阴影校正）增益表没烧录对。Sensor换了型号，但LSC参数还是上一版的，结果暗角没压住，偏色就出来了。
避坑指南：IFE的配置跟Sensor模组强相关。换Sensor或换镜头，IFE的校正参数必须重新标定。我曾经因为偷懒直接复用旧参数，结果花了三天才定位到问题。
LRME (Low Resolution Motion Estimation) — 低分辨率运动估计
这个模块名字听着挺唬人，其实干的事很简单：在低分辨率图像上做运动估计，算出运动矢量。这些矢量会传给IPE，帮助做时域去噪和多帧合成。
LRME不处理全分辨率图像，只处理降采样后的低分辨率图。所以它功耗低、速度快。但问题也出在这里——如果运动矢量算得不准，IPE的去噪就会产生鬼影。
IPE (Image Processing Engine) — 图像处理引擎
IPE是整条流水线的核心。它工作在YUV域，负责色彩校正、伽马校正、锐化、时域去噪、缩放等。说白了，画面好不好看，IPE占了七成功劳。
IPE的配置参数非常多，而且相互耦合。比如你调高了锐化强度，噪点也会被放大；你加强了去噪，细节又会丢失。我个人的经验是，调IPE参数要“小步快跑”，每次只改一个变量，观察效果，再决定下一步。
VPU (Video Processing Unit) — 视频处理单元
VPU专门处理视频数据。它跟IPE共享一部分硬件资源，但有自己的编码流水线。VPU支持H.264、H.265、VP9等编码格式。
做视频调试时，我建议你重点关注VPU的码率控制和参考帧管理。码率波动太大，画面就会忽好忽坏；参考帧选错了，编码效率直接腰斩。
1.4 数据流走向：从Sensor到显示
理解了各个模块，咱们再把它们串起来。一条典型的拍照数据流是这样的：
- Sensor输出Raw数据 — 通常是10bit或12bit的Bayer格式，通过CSI接口传给ISP。
- IFE接收并预处理 — 做Bayer域校正，输出YUV格式的数据（部分平台IFE也输出Raw）。
- LRME做运动估计 — 对降采样后的图像计算运动矢量，结果送给IPE。
- IPE做核心处理 — 利用LRME的运动矢量做时域去噪，然后做色彩、锐化、缩放等处理。
- VPU编码（视频）或直接输出（拍照） — 视频场景下VPU接手编码；拍照场景下IPE直接输出YUV给应用层。
注意：不同骁龙平台（如865、888、8 Gen1）的模块划分和连接方式有差异。比如有些平台把IFE和IPE合并成一个模块，有些平台增加了额外的DSP加速单元。做项目前，一定要先看对应平台的TRM（Technical Reference Manual）。
1.5 一张表总结模块分工
为了方便你快速查阅，我把各模块的核心职责和常见问题整理成了表格：
| 模块 | 处理域 | 核心功能 | 常见问题 |
|---|---|---|---|
| IFE | Bayer | 黑电平、去噪、坏点校正、LSC | 偏色、暗角、坏点残留 |
| LRME | 低分辨率Y | 运动估计、矢量计算 | 鬼影、运动模糊 |
| IPE | YUV | 色彩、锐化、去噪、缩放 | 噪点、过锐、偏色、细节丢失 |
| VPU | YUV | 视频编码、码率控制 | 花屏、卡顿、码率波动 |
1.6 我的调试习惯
最后分享一点个人经验。拿到一个新平台的ISP时，我通常会做三件事：
- 先读数据流文档 — 搞清楚数据从哪个模块进、哪个模块出，中间经过哪些buffer。
- 抓一帧Raw图 — 在IFE入口处抓一帧原始数据，确认Sensor输出没问题。这一步能排除掉一半的硬件问题。
- 逐模块旁路测试 — 把IPE、VPU等模块逐个旁路，看画面变化。哪个模块旁路后画面正常了，问题就出在哪个模块。
嗯，这一章的内容就到这里。整体框架搭起来了，后面咱们再深入每个模块的细节和调试方法。