1. ISP基础与画质评测概述
各位同学,欢迎来到《高级ISP算法画质评测与场景自适应》的第一章。我是你们这门课的主讲,一个在ISP领域摸爬滚打了十几年的老兵。今天咱们不聊虚的,直接切入正题——先把ISP Pipeline和画质评测的底子打牢。
你可能会问,为什么第一节课就要讲评测?我个人的经验是:没有评测,就没有优化。你连一张图好在哪里、差在哪里都说不清楚,怎么去调算法参数?所以,评测是ISP工程师的“眼睛”,必须从一开始就建立正确的认知。
1.1 ISP Pipeline:从RAW到美图的流水线
ISP,全称Image Signal Processor,图像信号处理器。它干的活,说白了就是把传感器(Sensor)输出的原始RAW数据,变成一张人眼看着舒服、机器能分析的RGB图像。这个过程,就像一条流水线。
我习惯把这条流水线分成几个核心工位。每个工位解决一个特定的问题,顺序也基本固定。你想想看,如果连坏点都没去掉就开始做白平衡,那结果肯定一塌糊涂。
核心ISP Pipeline(典型顺序)
- 黑电平校正(BLC):消除传感器暗电流带来的固定偏置。
- 线性化(Linearization):将非线性RAW数据映射回线性空间。
- 去噪(Denoise):降低传感器读出噪声和光子散粒噪声。
- 坏点校正(DPC):修复传感器阵列中的死点或亮点。
- 镜头阴影校正(LSC):补偿镜头中心与边缘的光照衰减。
- 白平衡(AWB):在不同光源下还原物体本色。
- 去马赛克(Demosaic):从Bayer阵列插值出全彩RGB图像。
- 颜色校正矩阵(CCM):将传感器色彩空间映射到标准色域。
- Gamma校正:适应显示设备的非线性响应。
- 色调映射(Tone Mapping):压缩动态范围,保留细节。
- 边缘增强(Sharpening):提升图像视觉锐度。
嗯,这里要注意,不同厂商的Pipeline顺序可能略有差异,但核心逻辑不变。我曾经在调试一个低光场景时,发现去噪和边缘增强的顺序调换一下,信噪比能差出2个dB。这就是Pipeline顺序的魔力。
为了让你更直观地理解,我画了一张流程图。这张图我用了很多年,每次给新人讲ISP,都从它开始。
1.2 画质评测的核心指标
Pipeline搭好了,怎么知道它干得好不好?这就得靠评测指标。我把它分成四大金刚:SNR、MTF、Color Accuracy、Dynamic Range。这四个指标,基本能覆盖一张图80%的客观质量。
1.2.1 SNR(信噪比)
SNR衡量的是信号与噪声的比值。单位是dB。数值越高,画面越干净。我习惯用ISO 15739标准里的方法测SNR,用均匀灰卡拍一张图,然后计算均值和标准差。
避坑指南
我曾经在评测一款手机ISP时,发现SNR数据很好看,但实际照片噪点很多。后来发现是测试环境的光源有频闪,导致噪声计算不准确。所以,测SNR时一定要用直流光源,或者确保快门速度避开工频周期。
1.2.2 MTF(调制传递函数)
MTF反映的是系统对细节的还原能力。说白了,就是“锐不锐”。MTF曲线越高,说明镜头+ISP的组合能保留更多的高频细节。我常用ISO 12233的SFR(空间频率响应)方法来测MTF。
你想想看,如果MTF在Nyquist频率处掉到0.1以下,那这张图基本就是糊的。我建议你关注两个点:MTF50(对比度下降到50%时的频率)和MTF50P(考虑人眼对比度敏感度的加权版本)。
1.2.3 Color Accuracy(色彩准确度)
色彩准确度,通常用ΔE(CIE Lab色差)来衡量。ΔE越小,颜色越准。一般ΔE < 3,人眼就分辨不出差异了。我习惯用Macbeth ColorChecker(24色卡)来做评测,拍一张,然后算每个色块的ΔE。
⚠️ 注意
色彩准确度不是越高越好。有时候为了“好看”,ISP会故意让肤色偏红一点,天空偏蓝一点。这种“讨喜”的调校,在客观评测里ΔE会变大,但用户喜欢。所以,评测时要区分“准确度”和“偏好度”。
1.2.4 Dynamic Range(动态范围)
动态范围,指的是传感器能同时记录的最亮和最暗区域的比值。单位是dB或档位(Stops)。动态范围越大,高光不过曝、暗部不死黑的能力就越强。我常用ISO 15739的“视觉噪声法”来测,或者用Dead Leaves Chart(死叶图)来评估。
嗯,这里有个坑。很多厂商宣传的“HDR模式”其实是通过多帧合成来扩展动态范围,但代价是运动伪影。我建议你在评测时,一定要加上运动场景的测试,否则静态数据再好看,一拍运动物体就露馅。
1.3 评测标准与规范
评测不能瞎测,得有标准。国际上最权威的两个组织是IEEE和ISO。它们制定了一系列标准,让不同厂商的评测结果可以互相比较。
| 标准编号 | 名称 | 核心内容 |
|---|---|---|
| ISO 12233 | 分辨率与MTF评测 | 定义了SFR(空间频率响应)的测试方法和图表 |
| ISO 15739 | 噪声与动态范围评测 | 定义了SNR、动态范围的视觉噪声测量法 |
| ISO 14524 | OECF(光电转换函数)评测 | 测量相机对光信号的响应曲线 |
| IEEE P1858 | 手机摄像头画质评测 | 针对移动设备的综合评测标准,包含色彩、纹理、噪声等 |
| IEEE CPIQ | 摄像头画质评测标准 | Camera Phone Image Quality,是P1858的前身 |
我个人建议,初学者先从ISO 12233和ISO 15739入手。这两个标准是基础中的基础。等你把SFR和视觉噪声法玩熟了,再去看IEEE P1858这种综合性标准,会轻松很多。
我的评测工具箱(个人推荐)
- 硬件:DNP灯箱(D65光源)、Imatest SFRplus测试卡、Dead Leaves Chart、24色卡、灰阶卡。
- 软件:Imatest Master、DXO Analyzer、或者自己用Python写的脚本(我习惯用OpenCV + scikit-image)。
- 环境:暗室(测噪声)、恒温恒湿(测一致性)。