📚 课程目录第4章图像预处理与增强

4. 图像预处理与增强

环视感知系统通常由4～6路广角鱼眼相机组成，安装位置分散在车身前后左右，各相机面对的照度、色温、动态范围差异极大。原始图像若直接送入拼接、检测或测距模块，往往会出现拼接缝亮度跳变、暗部噪声淹没目标、强光区域过曝丢失纹理等问题。因此，图像预处理与增强是环视流水线中不可省略的一环，它决定了后续感知算法的输入质量上限。

一、核心原理：预处理链路的信号流

从传感器输出到可供感知使用的图像，中间要经过一系列有序处理。去噪抑制随机噪声，去畸变把鱼眼图像映射为可几何计算的透视或柱面图像，白平衡校正色偏，曝光补偿与HDR融合扩展动态范围，低照度增强提升暗区可见度。这些步骤并非简单串联，部分操作存在先后依赖：去畸变会改变像素邻域，因此去噪通常放在去畸变之前或采用畸变感知的滤波；HDR融合需要多帧曝光对齐，必须在去畸变之后进行，否则不同曝光帧的畸变映射不一致会导致鬼影。

二、方法流程与关键参数

去噪环节需在噪声抑制与细节保留之间取得平衡。环视图像中，暗部噪声标准差可达亮部的5～8倍，若采用全局固定强度滤波，暗部仍残留噪声而亮部纹理被抹平。工程上常用噪声水平估计驱动自适应滤波，或采用BM3D、非局部均值等结构保持方法。去畸变使用Kannala-Brandt模型或等距投影模型，将鱼眼图像映射到柱面或透视平面，映射表可离线生成以降低在线计算量。

白平衡与曝光补偿直接影响多相机颜色一致性。灰度世界法假设场景平均反射为灰色，计算简单但在大面积单色场景下失效；色温查表法结合环境光传感器更稳健。曝光补偿通过Gamma校正或直方图规定化调整亮度分布，HDR融合则对短、中、长曝光帧按权重合成，权重通常由像素亮度与饱和度决定。

# 典型环视预处理参数配置示例
denoise:
  method: bilateral
  sigma_color: 12
  sigma_space: 5
  adaptive_by_luma: true

undistort:
  model: kannala_brandt
  fx: 320.5
  fy: 320.8
  cx: 640.0
  cy: 360.0
  k1: -0.12
  k2: 0.03
  k3: -0.008
  k4: 0.001

white_balance:
  method: gray_world
  gain_r: 1.85
  gain_g: 1.00
  gain_b: 1.42

hdr:
  exposures: [2ms, 8ms, 32ms]
  weight: luminance_saturation
  ghost_suppression: true

low_light:
  method: retinex_msrcr
  scales: [15, 80, 250]
  gain: 1.6
  denoise_after: true

三、典型场景与影响分析

以夜间停车场环视泊车为例。四路相机中，后视相机正对后方车辆大灯，前视相机处于路灯阴影下，左右相机受地面反光影响。若不做HDR融合，后视图像中车牌区域过曝为白色，前视图像中地面车位线淹没在噪声中。经过多曝光融合与低照度增强后，后视高光区域恢复纹理，前视暗部信噪比提升约6～10 dB，车位线检测率从62%提升至89%。

处理环节	主要目标	典型方法	对环视感知的影响
去噪	抑制随机噪声，保留边缘	双边滤波、BM3D、NLM	降低暗部误检，提升弱目标可见度
去畸变	几何校正，统一投影	Kannala-Brandt、等距投影	保证拼接缝对齐与测距精度
白平衡	消除色偏，统一色调	灰度世界、色温查表	减少拼接缝颜色跳变，提升颜色一致性
曝光补偿	调整亮度分布	Gamma、直方图规定化	避免局部过暗或过亮导致目标丢失
HDR融合	扩展动态范围	多曝光权重融合	同时保留高光与暗部纹理
低照度增强	提升暗区可见度	Retinex、自适应Gamma	夜间泊车、行人检测召回率提升

四、误区与复盘

常见误区一：先增强后去畸变。低照度增强会放大噪声，若在去畸变前进行，畸变映射会把放大后的噪声扩散到更大区域，后续去噪难以恢复。建议先去畸变，再在几何校正域做增强。

常见误区二：四路相机使用同一套白平衡增益。不同相机安装角度与遮挡不同，接收到的环境光差异显著。应分相机独立估计增益，并在拼接前做颜色一致性校正。

常见误区三：HDR融合忽略运动鬼影。车辆行驶中多曝光帧之间存在位移，直接融合会产生重影。需引入运动检测与对齐，或采用单帧HDR传感器方案。

复盘建议：建立预处理参数与感知指标的关联表，记录不同光照条件下各环节参数对检测率、测距误差、拼接缝评分的影响。每调整一个参数，至少观察白天、黄昏、夜间三种场景的指标变化，避免在单一场景下过拟合。

综上，图像预处理与增强不是孤立的图像美化步骤，而是环视感知链路中决定输入质量的关键环节。去噪、去畸变、白平衡、曝光补偿、HDR融合与低照度增强各自解决不同维度的问题，又通过顺序、参数与反馈相互耦合。工程实践中应以感知指标为最终判据，在几何校正域与光度校正域之间合理划分处理顺序，并针对多相机差异做独立标定与一致性校正，才能让环视系统在复杂光照下保持稳定可靠的感知能力。