4. 图像噪声基础:噪声类型、模型与统计特性

在RK平台ISP调试中,噪声是影响图像质量的首要因素。理解噪声的来源、类型及其统计特性,是进行降噪参数调优和色彩校正联合优化的前提。本章从物理源头出发,系统梳理图像噪声的数学模型与视觉影响。

4.1 噪声的主要类型

图像传感器(CMOS/CCD)在光电转换、读出和放大过程中会引入多种噪声。根据产生机理,可归纳为以下三类核心噪声:

噪声类型 英文名称 产生阶段 主要特性 ISP处理难点
光子噪声 Photon Shot Noise 光电转换 与信号强度平方根成正比,服从泊松分布 高光区域明显,无法通过硬件消除
读出噪声 Readout Noise 模拟读出 与信号无关,近似高斯分布 暗部区域主导,限制动态范围
固定模式噪声 Fixed Pattern Noise (FPN) 像素/列电路 空间位置固定,行/列相关 需标定校正,否则产生条纹
调试提示: 在RK平台ISP参数表中,bayernr(Bayer域降噪)主要处理光子噪声和读出噪声,而dpcc(坏点校正)和lsc(镜头阴影校正)部分补偿固定模式噪声。联合调优时需区分噪声来源,避免过度平滑。

4.1.1 光子噪声(Photon Shot Noise)

光子到达传感器像素的过程具有量子随机性。即使光照恒定,每个像素在单位时间内收集的光子数也会围绕平均值波动。这种波动即为光子噪声,其标准差等于信号均值的平方根:

σ_shot = √(μ_photon)

其中 μ_photon 为平均光子数。光子噪声是图像传感器噪声的理论下限,在强光下占主导地位。由于它与信号相关,降噪时需采用信号依赖型阈值,而非固定阈值。

4.1.2 读出噪声(Readout Noise)

读出噪声产生于像素电荷转换为电压、放大及模数转换(ADC)的过程中。它主要包括:

  • 复位噪声(KTC噪声): 由像素复位开关的热噪声引起,与温度相关。
  • 放大器噪声: 源极跟随器和列放大器引入的1/f噪声和热噪声。
  • 量化噪声: ADC量化精度有限导致的误差,通常为1 LSB。

读出噪声在低照度条件下成为主要噪声源,其统计特性近似为零均值高斯分布,标准差 σ_read 与信号强度无关。

4.1.3 固定模式噪声(FPN)

FPN由传感器制造工艺偏差引起,表现为像素间暗电流差异(DSNU)和光响应非均匀性(PRNU)。其特点是:

  • 空间固定: 同一传感器在不同帧中,噪声图案不变。
  • 行/列相关: 列放大器失配会导致垂直条纹。
  • 温度敏感: 暗电流随温度升高呈指数增长。
避坑指南: FPN在长时间曝光或高温环境下会显著恶化。在RK平台调试时,务必在完全黑暗环境下采集暗场标定帧,用于FPN减除。若忽略此步骤,后续色彩校正矩阵(CCM)会放大FPN,导致色斑。

4.2 噪声模型与统计特性

为了在ISP中设计有效的降噪算法,需要建立统一的噪声模型。实际传感器噪声可近似为泊松-高斯混合模型:

I_observed = I_true + n_shot(I_true) + n_read

其中:
  n_shot ~ Poisson(λ = I_true) - I_true   // 光子噪声,方差 = I_true
  n_read ~ Gaussian(μ = 0, σ = σ_read)    // 读出噪声,方差 = σ_read²

总噪声方差为:

σ_total² = I_true + σ_read²

这一模型表明:噪声方差随信号强度线性增加,截距为读出噪声方差。在RK平台ISP的rawnr模块中,通常需要配置噪声曲线(Noise Profile),即不同增益下的 σ_total 与信号强度的关系。

关键参数: 噪声曲线的斜率对应光子噪声系数,截距对应读出噪声。在RK ISP调试工具中,通过采集多张灰阶卡图像,可拟合出准确的噪声曲线,为降噪强度提供依据。

4.3 噪声对图像质量的影响

噪声从多个维度劣化图像质量,直接影响后续色彩校正和主观观感:

影响维度 具体表现 与色彩校正的耦合
亮度细节损失 噪声掩盖边缘和纹理,导致图像模糊 降噪过度会使色彩边缘模糊,CCM后出现色晕
色彩偏差 Bayer域噪声经去马赛克后产生伪色 CCM会放大伪色,需配合色彩降噪(CNR)
动态范围压缩 读出噪声限制暗部可分辨信号 暗部信噪比低,CCM增益导致噪声放大
视觉颗粒感 光子噪声在高光区产生颗粒 颗粒感在均匀色块(如天空)中尤为刺眼

4.4 噪声模型与ISP处理流程

下图展示了从传感器到ISP输出的噪声演变路径,以及各模块对噪声的抑制或放大作用:

噪声在ISP流水线中的演变与影响 传感器噪声源 光子噪声 + 读出噪声 + FPN Bayer域降噪 抑制光子/读出噪声 去马赛克 产生伪色噪声 CCM 放大噪声 噪声统计特性 噪声曲线拟合 降噪参数配置 色彩降噪(CNR) 输出图像 联合调优要点 1. 先通过暗场标定分离FPN,再拟合光子/读出噪声曲线。 2. Bayer域降噪强度应随增益自适应调整,避免低增益过度平滑。 3. CCM增益矩阵需与CNR强度联动,防止色彩噪声放大。

4.5 噪声测量与评估指标

在RK平台调试中,常用以下指标量化噪声水平:

  • SNR(信噪比): 信号均值与噪声标准差的比值,单位dB。SNR越高,图像越干净。
  • NPS(噪声功率谱): 描述噪声的空间频率分布,用于区分低频色块噪声和高频颗粒噪声。
  • 视觉噪声(Visual Noise): 结合人眼对比度敏感度函数(CSF)的加权噪声指标,更贴近主观感受。
实践建议: 在RK ISP调试工具中,使用imx415等传感器时,建议在增益为0dB、6dB、12dB、18dB、24dB五个档位分别采集噪声曲线,确保降噪参数覆盖全增益范围。色彩校正矩阵(CCM)的调优应在中等增益(6dB~12dB)下进行,此时噪声与色彩平衡最佳。

4.6 本章小结