4. 图像噪声基础:噪声类型、模型与统计特性
在RK平台ISP调试中,噪声是影响图像质量的首要因素。理解噪声的来源、类型及其统计特性,是进行降噪参数调优和色彩校正联合优化的前提。本章从物理源头出发,系统梳理图像噪声的数学模型与视觉影响。
4.1 噪声的主要类型
图像传感器(CMOS/CCD)在光电转换、读出和放大过程中会引入多种噪声。根据产生机理,可归纳为以下三类核心噪声:
| 噪声类型 | 英文名称 | 产生阶段 | 主要特性 | ISP处理难点 |
|---|---|---|---|---|
| 光子噪声 | Photon Shot Noise | 光电转换 | 与信号强度平方根成正比,服从泊松分布 | 高光区域明显,无法通过硬件消除 |
| 读出噪声 | Readout Noise | 模拟读出 | 与信号无关,近似高斯分布 | 暗部区域主导,限制动态范围 |
| 固定模式噪声 | Fixed Pattern Noise (FPN) | 像素/列电路 | 空间位置固定,行/列相关 | 需标定校正,否则产生条纹 |
调试提示: 在RK平台ISP参数表中,
bayernr(Bayer域降噪)主要处理光子噪声和读出噪声,而dpcc(坏点校正)和lsc(镜头阴影校正)部分补偿固定模式噪声。联合调优时需区分噪声来源,避免过度平滑。
4.1.1 光子噪声(Photon Shot Noise)
光子到达传感器像素的过程具有量子随机性。即使光照恒定,每个像素在单位时间内收集的光子数也会围绕平均值波动。这种波动即为光子噪声,其标准差等于信号均值的平方根:
σ_shot = √(μ_photon)
其中 μ_photon 为平均光子数。光子噪声是图像传感器噪声的理论下限,在强光下占主导地位。由于它与信号相关,降噪时需采用信号依赖型阈值,而非固定阈值。
4.1.2 读出噪声(Readout Noise)
读出噪声产生于像素电荷转换为电压、放大及模数转换(ADC)的过程中。它主要包括:
- 复位噪声(KTC噪声): 由像素复位开关的热噪声引起,与温度相关。
- 放大器噪声: 源极跟随器和列放大器引入的1/f噪声和热噪声。
- 量化噪声: ADC量化精度有限导致的误差,通常为1 LSB。
读出噪声在低照度条件下成为主要噪声源,其统计特性近似为零均值高斯分布,标准差 σ_read 与信号强度无关。
4.1.3 固定模式噪声(FPN)
FPN由传感器制造工艺偏差引起,表现为像素间暗电流差异(DSNU)和光响应非均匀性(PRNU)。其特点是:
- 空间固定: 同一传感器在不同帧中,噪声图案不变。
- 行/列相关: 列放大器失配会导致垂直条纹。
- 温度敏感: 暗电流随温度升高呈指数增长。
避坑指南: FPN在长时间曝光或高温环境下会显著恶化。在RK平台调试时,务必在完全黑暗环境下采集暗场标定帧,用于FPN减除。若忽略此步骤,后续色彩校正矩阵(CCM)会放大FPN,导致色斑。
4.2 噪声模型与统计特性
为了在ISP中设计有效的降噪算法,需要建立统一的噪声模型。实际传感器噪声可近似为泊松-高斯混合模型:
I_observed = I_true + n_shot(I_true) + n_read
其中:
n_shot ~ Poisson(λ = I_true) - I_true // 光子噪声,方差 = I_true
n_read ~ Gaussian(μ = 0, σ = σ_read) // 读出噪声,方差 = σ_read²
总噪声方差为:
σ_total² = I_true + σ_read²
这一模型表明:噪声方差随信号强度线性增加,截距为读出噪声方差。在RK平台ISP的rawnr模块中,通常需要配置噪声曲线(Noise Profile),即不同增益下的 σ_total 与信号强度的关系。
关键参数: 噪声曲线的斜率对应光子噪声系数,截距对应读出噪声。在RK ISP调试工具中,通过采集多张灰阶卡图像,可拟合出准确的噪声曲线,为降噪强度提供依据。
4.3 噪声对图像质量的影响
噪声从多个维度劣化图像质量,直接影响后续色彩校正和主观观感:
| 影响维度 | 具体表现 | 与色彩校正的耦合 |
|---|---|---|
| 亮度细节损失 | 噪声掩盖边缘和纹理,导致图像模糊 | 降噪过度会使色彩边缘模糊,CCM后出现色晕 |
| 色彩偏差 | Bayer域噪声经去马赛克后产生伪色 | CCM会放大伪色,需配合色彩降噪(CNR) |
| 动态范围压缩 | 读出噪声限制暗部可分辨信号 | 暗部信噪比低,CCM增益导致噪声放大 |
| 视觉颗粒感 | 光子噪声在高光区产生颗粒 | 颗粒感在均匀色块(如天空)中尤为刺眼 |
4.4 噪声模型与ISP处理流程
下图展示了从传感器到ISP输出的噪声演变路径,以及各模块对噪声的抑制或放大作用:
4.5 噪声测量与评估指标
在RK平台调试中,常用以下指标量化噪声水平:
- SNR(信噪比): 信号均值与噪声标准差的比值,单位dB。SNR越高,图像越干净。
- NPS(噪声功率谱): 描述噪声的空间频率分布,用于区分低频色块噪声和高频颗粒噪声。
- 视觉噪声(Visual Noise): 结合人眼对比度敏感度函数(CSF)的加权噪声指标,更贴近主观感受。
实践建议: 在RK ISP调试工具中,使用
imx415等传感器时,建议在增益为0dB、6dB、12dB、18dB、24dB五个档位分别采集噪声曲线,确保降噪参数覆盖全增益范围。色彩校正矩阵(CCM)的调优应在中等增益(6dB~12dB)下进行,此时噪声与色彩平衡最佳。