1. ISP 与 3A 算法概述
各位同学，欢迎来到《ISP 3A算法从入门到精通》的第一章。
我是你们这门课的主讲。做了十几年图像信号处理，从功能机时代一路摸爬滚打到今天的计算摄影，踩过的坑确实不少。今天咱们先不急着写代码，把地基打牢。
这一章，我们聊聊三个核心问题：ISP 是什么？3A 算法是干什么的？它们在我们的手机里到底怎么工作的？
1.1 什么是 ISP？
ISP，全称 Image Signal Processor，图像信号处理器。说白了，它就是相机模组后面那个负责“算”的芯片或IP核。
传感器（Sensor）捕捉到的是原始数据，叫 RAW 图。这玩意儿人眼没法看——它只有每个像素点的电压值，没有颜色，没有细节，甚至还有一堆噪声。ISP 的任务，就是把这块“璞玉”雕琢成我们屏幕上看到的精美照片。
核心观点： ISP 是连接物理世界与数字图像的桥梁。没有 ISP，传感器只是一堆感光元件的集合。
我个人习惯把 ISP 比作一个“数字暗房”。以前摄影师在暗房里冲洗胶卷，要控制曝光、显影、定影；现在 ISP 在芯片里做同样的事——调整亮度、还原色彩、锐化细节。只不过，这个过程是实时的，每秒要处理几十帧甚至上百帧数据。
1.2 3A 算法：AE / AF / AWB 的作用
3A 算法是 ISP 的大脑。它们负责在拍摄前和拍摄中，自动把相机参数调到最优。没有 3A，你拍一张照片可能要手动调半天——曝光、对焦、白平衡，想想就头疼。
| 算法 | 全称 | 一句话解释 | 我遇到过的坑 |
|---|---|---|---|
| AE | 自动曝光 | 控制进光量，让画面不亮不暗 | 逆光场景下，人脸黑成剪影，AE 却觉得整体亮度刚好 |
| AF | 自动对焦 | 让主体清晰，背景虚化 | 拍玻璃窗后的物体，AF 总是对到玻璃上的污渍 |
| AWB | 自动白平衡 | 还原物体真实颜色，不受光源影响 | 室内暖光灯下，拍出来的白纸偏黄，AWB 没拉回来 |
你想想看，这三个算法是联动的。AE 决定了快门速度和增益，这会影响 AF 的对比度检测；AWB 的统计信息又会被 AE 用来判断场景亮度。所以，做 3A 算法，不能只盯着一个看。
1.3 ISP Pipeline 简介
ISP 的处理流程，我们叫 Pipeline。它是一条流水线，数据从一头进去，经过一道道工序，从另一头出来就是成品图。
下面这张图，是我自己画的 ISP 典型 Pipeline。它不包含所有模块，但涵盖了核心链路。
这个流程，我简单拆解一下：
- Sensor RAW：传感器输出的原始数据，每个像素只有一种颜色（Bayer 模式）。
- 黑电平校正：去掉传感器暗电流带来的固定偏置。嗯，这里要注意，不同 sensor 的黑电平值不一样，得单独标定。
- 去噪：去掉热噪声、读出噪声。降噪太强会丢细节，太弱又全是噪点，这是个平衡艺术。
- 去马赛克：把 Bayer 格式插值成完整的 RGB 图像。这一步做不好，边缘会出现拉链效应。
- AWB 白平衡：调整 R/G/B 通道增益，还原真实色彩。
- 色彩校正：把 sensor 的色彩空间映射到标准色彩空间（如 sRGB）。
- Gamma 校正：调整亮度曲线，适配显示设备的非线性响应。
- 锐化：增强边缘对比度，让画面更清晰。
我的经验： 实际产品中的 Pipeline 比这个复杂得多。还有镜头校正、局部色调映射、超分等等。但核心链路就是这个骨架，其他都是锦上添花。
1.4 3A 算法在手机相机中的应用
手机相机和单反最大的区别是什么？是空间和功耗的限制。手机 ISP 必须在指甲盖大小的芯片里，用极低的功耗完成所有计算。
这就导致 3A 算法在手机上有很多“妥协的艺术”。
- AE 方面：手机没有机械光圈，只能靠曝光时间和增益来调节。我做过一个项目，夜景模式下 AE 要把快门拉到 1/4 秒，但手持拍摄会糊。最后我们加了一个多帧融合的策略——短曝光拍细节，长曝光提亮度，再合成。效果还不错。
- AF 方面：手机镜头是微型马达驱动的，行程短，对焦快。但微距场景下，马达容易来回震荡。我曾经调试一个模组，AF 在微距模式下反复“拉风箱”，最后发现是算法里的死区设置太小，马达响应不过来。
- AWB 方面：手机经常遇到混合光源——室内既有日光灯又有台灯。AWB 算法如果只认一个色温，拍出来的照片就会偏色。我建议的做法是：把画面分区统计，不同区域用不同的色温补偿。
避坑指南： 我曾经在调试一个前置摄像头时，发现 AWB 在自拍时总是偏暖。排查了很久，最后发现是屏幕的补光影响了 sensor 的色温检测。解决方案是把屏幕补光的色温参数告诉 AWB 算法，做前馈补偿。所以，做 3A 不能只盯着 sensor，整个系统的光路都要考虑。
好了，这一章的内容就到这里。我们理清了 ISP 是什么、3A 算法各自的作用、Pipeline 的骨架，以及它们在手机上的实际应用。这些概念会贯穿整个课程，后面的每一章都会在此基础上深入。