📚 课程目录第4章图像预处理与增强

4. 图像预处理与增强

在TSR（交通标志识别）系统中，摄像头采集的原始图像往往受到光照变化、运动模糊、雨雾遮挡、曝光不足或过曝等因素影响。如果直接送入检测或分类网络，模型很容易把注意力浪费在无关的纹理和噪声上。图像预处理与增强的目标，是在尽量保留标志语义信息的前提下，把图像整理成“稳定、可比、可学习”的输入形式，并通过数据增强扩展样本分布，提升模型对真实道路场景的泛化能力。

一、核心原理：预处理解决“输入一致性”，增强解决“分布覆盖”

预处理与增强虽然常被放在一起讲，但二者职责不同。预处理更偏向确定性变换：灰度化、尺寸归一化、去噪、几何校正、色彩空间转换，目的是让不同摄像头、不同光照、不同分辨率下的图像进入统一表示空间。数据增强则是在训练阶段引入随机但合理的扰动，例如随机亮度、对比度、旋转、缩放、裁剪、仿射变换、色彩抖动等，使模型见到更多可能出现的交通标志形态。

对于TSR任务，交通标志的关键信息通常集中在颜色、形状和内部图案上。红色禁令标志、蓝色指示标志、黄色警告标志在RGB空间中容易受光照影响，而在HSV或Lab空间中，色相与亮度可以解耦，更利于颜色分割和阈值判断。因此，色彩空间转换不仅是“换一种表示”，更是为后续颜色敏感操作提供更稳定的特征通道。

二、方法流程：从原始像素到网络输入

一个典型的TSR预处理流水线可以按以下顺序组织：

灰度化：将三通道RGB图像转换为单通道灰度图，降低计算量，同时保留亮度信息。常用加权公式为 Y = 0.299R + 0.587G + 0.114B。对于颜色敏感的交通标志，灰度化通常只用于形状检测或作为辅助通道，不建议完全替代颜色信息。
直方图均衡：通过重新分配像素灰度值，增强图像对比度。全局直方图均衡在光照均匀时效果明显，但在局部阴影或逆光场景下容易放大噪声。TSR中更常用CLAHE（限制对比度自适应直方图均衡），它按局部区域均衡并限制对比度，能更好保留标志边缘。
去噪：高斯滤波适合抑制高斯噪声，中值滤波对椒盐噪声更有效，双边滤波在平滑噪声的同时保留边缘。交通标志边缘是分类的重要线索，因此去噪时要在“平滑”和“保边”之间权衡。
几何变换：包括缩放、旋转、平移、仿射变换和透视校正。摄像头安装角度、车辆运动、镜头畸变都会导致标志形状变形，几何变换用于把标志校正到标准视角，或统一到网络要求的输入尺寸。
色彩空间转换：将RGB转换为HSV、Lab或YCrCb，使颜色信息与亮度分离，便于红色、蓝色、黄色区域的阈值分割和候选区域提取。
数据增强：在训练阶段随机组合亮度、对比度、饱和度、旋转、缩放、裁剪、模糊、噪声等操作，模拟真实道路中的光照变化、运动模糊和遮挡。

三、参数与操作对照表

处理环节	常用方法	关键参数	TSR中的作用
灰度化	加权平均法	R:0.299, G:0.587, B:0.114	降低通道维度，突出亮度与形状
直方图均衡	CLAHE	clipLimit=2.0, tileGridSize=8×8	增强逆光、阴影下的标志对比度
去噪	中值滤波 / 双边滤波	kernel=3×3或5×5	抑制雨雪、传感器噪声，保留边缘
几何变换	仿射变换 / 透视变换	缩放比例、旋转角度、目标尺寸	校正视角，统一输入尺寸
色彩空间	RGB→HSV / Lab	H范围、S范围、V范围	颜色分割，提取红/蓝/黄候选区域
数据增强	随机亮度/旋转/裁剪	亮度±30%、旋转±15°、缩放0.8~1.2	提升模型对光照和视角变化的鲁棒性

四、案例场景：逆光下的限速标志识别

假设车载摄像头在傍晚逆光条件下拍摄到一块限速60标志。原始图像中标志区域偏暗，红色圆环与背景对比度低，同时伴有轻微运动模糊。若直接送入分类网络，模型可能将标志误判为广告牌或背景。

此时可以按以下步骤处理：先使用CLAHE增强局部对比度，让红色圆环和数字边缘更清晰；再用双边滤波抑制路面纹理噪声，同时保留标志边缘；接着转换到HSV空间，利用红色色相范围提取候选区域；最后对候选区域做透视校正和尺寸归一化，送入分类网络。训练阶段还可以对同类样本施加随机亮度降低、运动模糊和轻微旋转，使模型提前“见过”逆光与模糊场景。

提示：预处理参数应在验证集上评估，而不是凭经验固定。例如CLAHE的clipLimit过大可能放大噪声，过小则增强效果不足。建议用少量真实道路图像做参数扫描，观察检测召回率和误报率的变化。

五、常见误区与复盘

误区一：所有图像都做灰度化。交通标志的颜色是重要判别特征，灰度化会丢失红、蓝、黄等关键信息。正确做法是保留颜色通道，或将灰度图作为辅助输入。
误区二：训练和推理预处理不一致。训练时用了归一化和增强，推理时却忘记同样的归一化，会导致输入分布偏移，模型性能大幅下降。必须保证推理阶段与训练阶段的确定性预处理完全一致。
误区三：增强过度导致语义改变。例如把限速60旋转180°、过度裁剪掉数字、把红色标志调成橙色，都会破坏标签语义。增强应模拟真实变化，而不是随意变形。
误区四：去噪过度模糊边缘。大核高斯滤波会抹掉标志内部细线条，影响数字和图案识别。应优先选择保边滤波，并控制核尺寸。

注意：数据增强只应用于训练集，验证集和测试集应使用与推理一致的确定性预处理。否则验证指标会被“增强后的简单样本”抬高，无法反映真实部署效果。

六、代码示例：OpenCV预处理与增强片段

import cv2
import numpy as np

def preprocess_tsr(img, size=(640, 640)):
    # 1. 灰度化（辅助通道）
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # 2. CLAHE 对比度增强
    clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))
    gray_eq = clahe.apply(gray)

    # 3. 双边滤波去噪，保留边缘
    denoised = cv2.bilateralFilter(gray_eq, d=5, sigmaColor=50, sigmaSpace=50)

    # 4. 色彩空间转换：BGR -> HSV
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)

    # 5. 几何变换：缩放到统一尺寸
    resized = cv2.resize(denoised, size, interpolation=cv2.INTER_LINEAR)

    # 6. 归一化到 [0, 1]
    normalized = resized.astype(np.float32) / 255.0
    return normalized, hsv

def augment_train(img):
    # 随机亮度与对比度扰动
    alpha = 1.0 + np.random.uniform(-0.3, 0.3)
    beta = np.random.uniform(-30, 30)
    aug = cv2.convertScaleAbs(img, alpha=alpha, beta=beta)

    # 随机旋转
    angle = np.random.uniform(-15, 15)
    h, w = aug.shape[:2]
    M = cv2.getRotationMatrix2D((w // 2, h // 2), angle, 1.0)
    aug = cv2.warpAffine(aug, M, (w, h), borderMode=cv2.BORDER_REFLECT)
    return aug

总体而言，图像预处理与增强是TSR系统中“低成本、高回报”的环节。合理的灰度化、直方图均衡、去噪、几何变换和色彩空间转换，可以让后续检测与分类网络把注意力集中在交通标志本身；而科学的数据增强策略，则能让模型在雨雾、逆光、模糊和视角变化下依然保持稳定识别能力。实际工程中，应把预处理参数、增强策略与验证集指标联动调优，避免“看起来处理得很漂亮，但模型效果反而下降”的情况。