1. 课程导论与ISP Pipeline概览：色差校正与边缘增强在成像链路中的位置与重要性
各位同学好，欢迎来到《高通ISP色差校正与边缘增强算法部署实战》的第一章。
做ISP算法这行，有个很形象的比喻：原始RAW数据就像一块未经雕琢的璞玉。你想想看，Sensor直接吐出来的数据，偏色、噪点、模糊，啥毛病都有。而我们ISP工程师，就是那个拿着刻刀的匠人。
今天这堂课，我们不急着写代码。先把整条ISP Pipeline摊开来看清楚。我个人习惯，接手一个新平台或者调试一个新项目，第一件事不是调参数，而是把数据流图画出来。你得知道，你调的那个模块，到底在整条链路的哪个位置，它吃谁吐出来的数据，它又喂给谁。
好，我们直接进入正题。
1.1 高通ISP Pipeline全景图
先看一张我画的简化流程图。这张图我几乎在每个项目里都会贴出来，方便跟算法同事、硬件同事对齐。
这张图里，我把色差校正（AWB+CCM）标成了红色，边缘增强标成了绿色。为什么这两个模块值得单独拿出来讲？
因为在实际项目中，这两个模块是用户感知最明显的。你想想看，一张照片颜色偏紫、边缘发虚，用户一眼就能看出来。相比之下，BLC（黑电平校正）或者LSC（镜头阴影校正）调得好不好，普通用户根本不会在意。
1.2 色差校正：为什么它这么重要？
色差校正，说白了就是解决“颜色不准”的问题。
Sensor本身是色盲。它只能感知光的强度，分不清红绿蓝。所以我们用Bayer阵列给它装上“有色眼镜”，再通过Demosaic算法猜出每个像素的颜色。但猜出来的颜色，跟真实世界的颜色还是有差距。
这里我分享一个我踩过的坑。我曾经调试一款手机摄像头，在室内灯光下拍出来的白色墙壁总是偏黄。我调了AWB（自动白平衡）的参数，效果还是不行。后来发现，问题出在CCM（色彩校正矩阵）上。因为Sensor的光谱响应曲线跟人眼不一样，必须用一个3x3的矩阵把Sensor的RGB空间映射到标准色彩空间。
核心概念：
- AWB（自动白平衡）：让白色物体在任何光源下都呈现白色。说白了就是消除光源色温的影响。
- CCM（色彩校正矩阵）：一个3x3的矩阵，把Sensor的RGB值映射到标准色彩空间（如sRGB）。
- 色差校正 = AWB + CCM：两者配合，才能得到准确的色彩。
你可能会问：为什么不在Demosaic之前做色差校正？
嗯，这个问题问得好。因为Demosaic之后，每个像素才有完整的RGB值，才能做矩阵运算。在RAW域做色差校正，数据量太大，而且效果也不好。这是高通Pipeline设计上的一个权衡。
1.3 边缘增强：清晰度的最后一道防线
边缘增强，也叫锐化。它的任务很简单：让图像的边缘更锐利，细节更清晰。
但为什么需要它？因为图像在采集和传输过程中，一定会损失高频信息。镜头的光学衍射、Sensor的像素尺寸、Demosaic的插值算法，都会让图像变模糊。边缘增强就是把这些丢失的高频信息“补回来”。
不过，这里有个度的问题。我见过很多新手工程师，一上来就把锐化强度拉满。结果呢？图像边缘出现了白边（overshoot），噪点也被放大了，整个画面看起来很不自然。
避坑指南：
我曾经在一个项目中，为了追求“清晰度”，把边缘增强的增益调到了2.0。结果在暗光场景下，噪点被放大得惨不忍睹。后来我学乖了，边缘增强一定要配合去噪模块一起调。先降噪，再锐化，顺序不能乱。
在高通平台上，边缘增强通常放在Gamma校正之后。为什么？因为Gamma校正会改变图像的对比度，如果先做边缘增强再做Gamma，锐化的效果会被Gamma“吃掉”一部分。
1.4 色差校正与边缘增强的协同关系
这两个模块不是孤立的。它们之间有一个微妙的平衡。
举个例子：如果你把色差校正做得太“狠”，比如CCM矩阵的系数调得很大，可能会导致某些颜色的饱和度异常。而边缘增强在处理这些高饱和度的颜色边缘时，容易产生彩色锯齿（color fringe）。
反过来，如果边缘增强做得太强，也会放大色差校正残留的误差。比如，原本AWB没完全校正好的偏色，在锐化之后会变得更加明显。
| 模块 | 主要目标 | 常见问题 | 与另一模块的冲突 |
|---|---|---|---|
| 色差校正 | 色彩准确、肤色自然 | 偏色、饱和度异常 | 过度校正导致边缘彩色锯齿 |
| 边缘增强 | 边缘锐利、细节清晰 | 白边、噪点放大 | 放大色差校正残留的偏色 |
所以，在实际调试中，我建议你先调好色差校正，让色彩基本准确之后，再去做边缘增强的调试。顺序很重要。
1.5 高通平台上的部署特点
高通ISP的Pipeline是硬件加速的。这意味着，色差校正和边缘增强的算法，不是跑在CPU上，而是跑在ISP硬件模块里。
这对我们算法工程师来说，既是好事，也是挑战。
- 好事：速度快，功耗低，不占用CPU资源。
- 挑战：硬件模块的参数是有限的，算法必须适配硬件的约束。比如，CCM矩阵的系数精度可能只有8位定点数，边缘增强的滤波器尺寸可能是固定的3x3或5x5。
我记得第一次在高通平台上部署CCM算法时，我直接把PC上验证通过的浮点矩阵系数写进了驱动。结果图像颜色完全不对。后来才发现，硬件只支持定点数，而且系数范围有限制。从那以后，我每次部署算法前，都会先仔细阅读硬件手册，确认参数的位宽和范围。
小技巧：
在高通平台上调试色差校正时，可以先用高通提供的QCT（Qualcomm Camera Tuning）工具做离线调试。等参数调得差不多了，再固化到驱动里。这样可以节省很多烧录和重启的时间。
1.6 本章小结
好了，我们快速回顾一下今天的内容：
- 色差校正（AWB+CCM）和边缘增强（EE）是ISP Pipeline中用户感知最明显的两个模块。
- 色差校正解决“颜色不准”，边缘增强解决“图像模糊”。
- 两者之间存在协同关系，调试顺序建议：先色差校正，后边缘增强。
- 高通平台是硬件加速的，部署算法时必须考虑硬件约束。
下一章，我们会深入色差校正的核心——CCM矩阵的原理与高通平台上的实现细节。到时候我会带大家手写一个简单的CCM校准流程，并演示如何在高通平台上验证效果。
今天就到这里。有问题随时在群里讨论。