4. 图像预处理与增强

在NVIDIA DRIVE自动驾驶视觉感知平台中，摄像头原始输出并不能直接送入检测、分割或跟踪网络。原因很直接：镜头存在径向与切向畸变，传感器在低照度下噪声显著，不同曝光帧的动态范围差异巨大，而感知网络又要求固定尺寸、固定色彩分布、固定尺度的输入张量。因此，预处理与增强环节承担的是“把物理世界的光信号整理成网络可消费的规范数据”的职责。本节围绕去噪、去畸变、白平衡、HDR融合、图像金字塔五类操作，说明它们在DRIVE平台上的实现位置、关键参数以及GPU加速的组织方式。

一、预处理在DRIVE软件栈中的位置

DRIVE平台通常通过NvMedia、VPI（Vision Programming Interface）以及CUDA三条路径提供图像处理能力。NvMedia面向摄像头采集与ISP流水线，VPI提供跨后端（CPU/CUDA/PVA/VIC）的视觉算子，CUDA则用于自定义核函数。一个典型的处理链是：摄像头→ISP（去马赛克、基础降噪、自动白平衡）→去畸变→HDR融合→图像金字塔→张量输出。需要强调的是，ISP已经完成了部分白平衡与降噪，但自动驾驶场景中仍需要在应用层做二次增强，因为ISP的调参目标是“人眼观感”，而感知网络的目标是“特征可分性”。

二、去噪：从空域到时域

车载摄像头在夜间或隧道出口等场景下，光子散粒噪声与读出噪声会显著抬升。空域去噪常用双边滤波（Bilateral Filter）和非局部均值（NLM）。双边滤波的权重由空间距离与像素值差共同决定，能在保边的前提下平滑噪声。在CUDA中实现时，通常将窗口半径设为3～5，空间sigma取1.5～2.0，值域sigma取10～25（8位图像）。NLM计算量更大，适合对静态场景做离线增强，实时链路中较少直接使用。

更值得在DRIVE平台上使用的是时域去噪：利用前后帧的对应关系，对静止区域做加权平均。设当前帧为I_t，前一帧对齐后的结果为I_{t-1}，则输出I_out = α·I_t + (1-α)·I_{t-1}，α取0.3～0.5。运动区域通过光流或简单的帧差阈值判断，超过阈值时提高α以保留运动细节。时域去噪的代价是需要缓存上一帧，并做一次运动补偿，但它在GPU上只是逐像素的乘加，开销远低于大窗口NLM。

三、去畸变：remap LUT 的构建与采样

去畸变的核心是建立“畸变图像坐标→理想图像坐标”的映射表。以常见的Brown-Conrady模型为例，给定归一化坐标(x, y)，径向畸变系数k1、k2、k3，切向系数p1、p2，畸变后的坐标为：

x_d = x(1 + k1·r² + k2·r⁴ + k3·r⁶) + 2p1·xy + p2(r² + 2x²)
y_d = y(1 + k1·r² + k2·r⁴ + k3·r⁶) + p1(r² + 2y²) + 2p2·xy
其中 r² = x² + y²

实际实现时并不在每帧做上述计算，而是离线生成一张remap LUT：对输出图像的每个像素(u_out, v_out)，反算其对应的输入坐标(u_in, v_in)，将结果存为float2或定点格式的映射表。运行时只需按LUT做双线性采样。在VPI中可直接调用vpiWarpMap与vpiRemap，后端选择CUDA或VIC；在CUDA中则把LUT绑定为纹理对象，利用硬件纹理单元的双线性插值能力，一次采样即可完成插值与边界处理。

需要注意坐标系约定：本文及图示均以图像左上角为原点，x向右，y向下。若标定工具输出的是以光心为原点的归一化坐标，需先乘以焦距并加上主点偏移，再写入LUT。

四、白平衡与HDR融合

白平衡的目标是让不同色温光源下的白色物体在图像中保持中性。ISP的自动白平衡基于灰世界或白点检测，但在隧道、钠灯、LED路灯等场景下容易偏色。应用层可做二次白平衡：统计图像中高亮非饱和区域的R/G/B均值，计算增益g_r = G_mean/R_mean、g_b = G_mean/B_mean，并限制增益范围（如0.5～2.0）防止过校正。增益可直接乘到RGB通道，也可写入3×3色彩校正矩阵与白平衡增益合并。

HDR融合处理的是同一场景的多曝光帧。以三曝光为例，短曝光保留高光细节，长曝光保留暗部细节。融合权重通常由亮度决定：对每帧计算权重w = 1 - |I - 0.5|×2，再对多帧做加权平均。更精细的做法是在拉普拉斯金字塔的每一层做融合，避免直接平均产生的光晕。在DRIVE平台上，多曝光帧可能来自同一摄像头的不同曝光行或不同摄像头，融合前必须做对齐，否则运动物体会出现重影。

五、图像金字塔与GPU加速组织

图像金字塔用于为不同尺度的感知任务提供输入：底层用于小目标与细节，高层用于大目标和全局上下文。高斯金字塔通过先高斯模糊再隔行隔列采样得到，每层尺寸减半。拉普拉斯金字塔则保存高斯层之间的差分，常用于HDR融合与图像重建。在CUDA中，降采样可以合并为一次核函数：每个输出像素读取2×2邻域并做加权，权重来自5×5高斯核的对应位置，这样避免先做完整卷积再采样。

实时性优化的关键在于三点。第一，尽量让整条链路留在GPU显存中，中间结果不回到Host，使用统一内存或设备指针传递。第二，多路摄像头使用不同的CUDA Stream并发执行，去畸变、去噪、金字塔之间用事件同步，避免全局串行。第三，对LUT、白平衡增益、融合权重等小数据，用常量内存或共享内存缓存，减少全局内存访问。以1920×1080、30fps、4路摄像头为例，若每路预处理耗时控制在8ms以内，整条链路即可满足实时要求；实际耗时需通过Nsight Systems做逐核函数剖析后确定，不能仅凭理论估算。

六、可执行的预处理参数检查表

以上参数均为教学示例，实际值需结合具体摄像头模组、标定结果和目标网络输入要求确定。预处理链路的最终验收标准不是“图像好看”，而是下游感知指标（如mAP、IoU、跟踪ID切换次数）在相同测试集上不下降，同时端到端延迟满足帧率预算。