3、传统ISP的瓶颈：信噪比与动态范围的物理极限，以及多帧融合的算力代价

聊到传统ISP，很多人第一反应是“成熟”、“稳定”。但做了这么多年图像，我得说句实话——传统ISP的架构，在物理层面已经快被榨干了。你想想看，传感器就那么点大，像素越做越小，进光量越来越受限，信噪比和动态范围这两个硬指标，几乎成了悬在传统ISP头上的两把剑。

3.1 信噪比（SNR）的物理天花板

信噪比这东西，说白了就是信号和噪声的比值。信号来自光子，噪声来自读出电路、暗电流、散粒噪声等等。我当年调试一颗1/2.3英寸的传感器时，发现暗光下SNR死活上不去，后来一算——物理极限摆在那，算法再牛也救不了。

传统ISP提升SNR的手段，无非就是这几种：

• 增大曝光时间——但手抖、物体运动就糊了
• 增大光圈——但景深变浅，边缘画质下降
• 提高模拟增益——噪声跟着一起放大，得不偿失

为什么会这样？因为传感器的主要噪声源——散粒噪声，服从泊松分布。它的标准差等于信号强度的平方根。你信号翻倍，噪声只涨√2倍。但问题是，你没法无限翻倍信号，因为满阱容量就那么大。

我在项目中遇到过一款号称“超低光”的传感器，标称0.1 lux下还能成像。结果实测SNR只有18dB，画面全是噪点。后来我查了它的满阱容量——才8000e⁻，物理极限摆在那，宣传再漂亮也没用。

3.2 动态范围（DR）的压缩困境

动态范围，就是传感器能同时记录的最亮和最暗区域的比值。传统ISP的DR瓶颈，我总结为三个字：顾此失彼。

你想想看，曝光时间调长了，暗部细节出来了，但高光区域一片死白；曝光时间调短了，高光保住了，暗部又黑成一团。传统ISP只能选一个折中值，然后靠tone mapping硬拉。但硬拉的结果是什么？

• 暗部提亮后，噪声被放大，SNR进一步恶化
• 高光压缩后，色彩饱和度下降，出现色偏
• 中间调对比度被压缩，画面发灰、发平

我调过一款安防摄像头，客户要求同时看清窗外的车牌和室内的暗角。传统ISP怎么调都做不到，最后只能上多帧融合——但代价就是算力爆炸。

场景	单帧DR（dB）	需求DR（dB）	传统ISP方案	结果
逆光人像	60	80+	全局tone mapping	人脸过暗或背景过曝
夜间监控	55	90+	单帧HDR合成	运动鬼影严重
车载前视	65	100+	多帧融合	算力不够，帧率下降

你看，传统ISP在DR上的挣扎，本质上是单帧传感器的物理限制。你没法让一个像素同时积累长曝光和短曝光的信息——除非你换架构。

3.3 多帧融合：算力代价的“无底洞”

既然单帧不行，那就多帧呗。多帧融合（MFSR、HDR合成）确实是传统ISP突破物理极限的主要手段。但代价呢？我直接说结论：算力代价是指数级增长的。

我参与过一个项目，用3帧合成HDR，效果确实不错。但为了处理运动鬼影，我们加了光流估计和运动补偿。结果呢？

• 3帧合成：算力消耗 ≈ 1.5x 单帧
• 加光流估计：算力消耗 ≈ 4x 单帧
• 加运动补偿+去鬼影：算力消耗 ≈ 8x 单帧

你想想看，一个1080p@30fps的ISP pipeline，单帧处理时间约33ms。8倍算力意味着什么？要么帧率降到4fps，要么上专用硬件加速器——成本直接翻几倍。

多帧融合的算力代价，我总结为三个维度：

1. 帧缓存带宽——多帧需要DDR带宽，3帧就是3倍带宽，7帧就是7倍。带宽不够，帧率就掉。
2. 运动估计复杂度——光流、块匹配、全局运动补偿，每个都是计算密集型操作。我见过一个项目，光流模块占了整个ISP算力的40%。
3. 融合算法开销——加权平均、金字塔融合、基于深度学习的融合，越复杂效果越好，但算力也越高。

说白了，传统ISP的多帧融合，是在用算力换画质。但算力不是无限的，功耗不是无限的，成本更不是无限的。这就是传统ISP架构的终极瓶颈——物理极限+算力代价的双重夹击。

3.4 知识结构图：传统ISP的瓶颈全景

下面这张图，是我自己梳理的传统ISP瓶颈全景。你看一眼，就能明白为什么我们需要AI ISP。