3、图像采集与预处理：摄像头标定、图像去畸变、亮度/对比度调整、灰度化、直方图均衡化等基础操作

无人车视觉系统的第一步并非“识别”，而是“看清”。车载摄像头采集到的原始图像，受镜头光学畸变、光照突变、传感器噪声等因素影响，往往与真实场景存在显著偏差。若直接将这类原始图像送入限速标志、停车线或转向箭头的识别模型，轻则降低检测置信度，重则导致漏检或误判。因此，图像采集与预处理是连接物理世界与算法模型的“第一道质检关”。本章将系统讲解摄像头标定、图像去畸变、亮度/对比度调整、灰度化与直方图均衡化的原理、操作流程及工程落地要点，并给出一个完整的夜间限速牌识别预处理案例。

上图展示了本章的核心处理链路：原始图像依次经过摄像头标定（获取内参、外参与畸变系数）、去畸变（消除镜头引起的直线弯曲）、亮度/对比度调整（应对逆光、阴影、夜间低照度）、灰度化（将三通道RGB压缩为单通道亮度信息）以及直方图均衡化（拉伸灰度分布，增强对比度），最终输出适合特征提取与模型推理的标准化图像。下面逐一展开每个环节的原理与操作。

3.1 摄像头标定：从像素坐标到物理坐标的桥梁

核心原理：摄像头标定是确定相机几何模型参数的过程。针孔成像模型下，世界坐标系中的点 \(P(X_w, Y_w, Z_w)\) 通过刚体变换（外参：旋转矩阵 \(R\) 和平移向量 \(t\)）映射到相机坐标系，再经透视投影（内参：焦距 \(f_x, f_y\)、主点 \(c_x, c_y\)）映射到像素坐标系。实际镜头存在径向畸变（桶形/枕形）和切向畸变（镜头与成像平面不平行），畸变系数 \(k_1, k_2, k_3, p_1, p_2\) 用于修正像素位置。标定的核心目标就是精确估计内参矩阵 \(K\)、外参 \([R|t]\) 和畸变系数。

操作流程：

1. 采集标定板图像：使用棋盘格（如10×7内角点）或圆点标定板，从不同角度、距离、姿态拍摄15~25张图像，覆盖画面中心与边缘区域。
2. 角点检测：利用OpenCV的 findChessboardCorners() 提取亚像素级角点坐标。
3. 参数求解：调用 calibrateCamera() 计算内参、畸变系数、每张图像的外参。
4. 重投影误差评估：将标定板角点反投影到图像，计算与检测角点的均方根误差（RMS），通常要求 < 0.5像素。

3.2 图像去畸变：还原真实几何关系

核心原理：畸变模型将理想像素坐标 \((x_{ideal}, y_{ideal})\) 映射为实际像素坐标 \((x_{dist}, y_{dist})\)。径向畸变修正公式为：

x_corrected = x * (1 + k1*r² + k2*r⁴ + k3*r⁶)
y_corrected = y * (1 + k1*r² + k2*r⁴ + k3*r⁶)

其中 \(r² = x² + y²\)（归一化坐标）。切向畸变修正为：

x_corrected = x + [2*p1*x*y + p2*(r² + 2*x²)]
y_corrected = y + [p1*(r² + 2*y²) + 2*p2*x*y]

操作流程：使用 cv2.undistort() 或 cv2.remap() 对整幅图像进行重映射。前者直接传入内参与畸变系数，后者需预先计算映射表（initUndistortRectifyMap()），适合实时视频流处理。

3.3 亮度/对比度调整：适应复杂光照环境

核心原理：亮度调整通过加性因子 \(\beta\) 改变整体灰度水平，对比度调整通过乘性因子 \(\alpha\) 拉伸灰度范围。线性变换公式为：

g(x,y) = α * f(x,y) + β

其中 \(\alpha > 1\) 提高对比度，\(\beta > 0\) 提高亮度。但线性变换对过曝/欠曝区域效果有限，更优方案是伽马校正：

g(x,y) = 255 * (f(x,y)/255)^γ

\(\gamma < 1\) 提亮暗部，\(\gamma > 1\) 压暗亮部。对于逆光场景，可结合自适应直方图均衡化（CLAHE）或Retinex算法进行局部光照补偿。

判断方法：计算图像灰度直方图的均值与标准差。若均值 < 80（0~255范围），判定为低照度；若标准差 < 40，判定为低对比度。根据判定结果动态调整 \(\alpha, \beta, \gamma\) 参数。

3.4 灰度化：降低计算维度

核心原理：RGB三通道图像包含大量颜色冗余信息，而交通标志识别（尤其是限速牌、停车标志）主要依赖形状、边缘和纹理，颜色信息可通过特定通道提取（如红色分割）。灰度化将三通道压缩为单通道，公式为：

Gray = 0.299*R + 0.587*G + 0.114*B

该加权系数符合人眼对绿色最敏感、蓝色最不敏感的视觉特性。OpenCV的 cvtColor(img, COLOR_BGR2GRAY) 即采用此公式。

操作流程：灰度化后，图像数据量减少为原来的1/3，显著降低后续边缘检测（Canny）、特征提取（HOG）和神经网络推理的计算开销。但需注意：若交通标志依赖颜色区分（如红色禁令标志与蓝色指示标志），灰度化会丢失关键判别信息。此时应保留颜色通道或使用HSV色彩空间提取特定色相。

3.5 直方图均衡化：增强对比度与细节

核心原理：直方图均衡化通过累积分布函数（CDF）将原始灰度分布映射为均匀分布，从而拉伸对比度。全局均衡化（HE）对整幅图像操作，但可能过度增强背景噪声。自适应直方图均衡化（CLAHE）将图像分为若干小块（如8×8），每块独立均衡化，并通过双线性插值消除块间边界，同时限制对比度增幅（clip limit）防止噪声放大。

操作流程：

1. 将灰度图分为 \(N \times N\) 个tile（通常8×8）。
2. 计算每个tile的直方图，裁剪超过clip limit的部分并重新分配。
3. 对每个tile计算CDF并映射。
4. 通过双线性插值得到最终像素值。

3.6 案例拆解：夜间限速牌识别预处理实战

背景与约束：某无人车测试车队在夜间城市道路行驶，车载摄像头（分辨率1920×1080，视场角90°）采集到一帧含限速40km/h圆形标志的图像。现场光照条件差，路灯稀疏，标志牌表面反光，且画面边缘存在明显桶形畸变。目标是通过预处理提升标志检测置信度，使YOLOv5s模型能够稳定识别。

初始现象与指标：原始图像整体灰度均值仅52，标准差28，对比度严重不足；标志区域边缘弯曲，导致检测框偏移；直接输入模型后，置信度仅0.61，且出现一次漏检。

关键输入数据：摄像头标定内参矩阵 \(K = [f_x=1200, f_y=1200, c_x=960, c_y=540]\)，畸变系数 \(k_1=-0.32, k_2=0.12, p_1=0.001, p_2=-0.002\)。

分析判断过程：首先，畸变导致标志边缘直线变为曲线，需先进行去畸变；其次，夜间低照度导致对比度不足，需进行亮度提升与CLAHE增强；最后，灰度化可减少计算量，但需保留红色通道信息用于候选区域提取。

实际操作步骤：

# 1. 去畸变
map1, map2 = cv2.initUndistortRectifyMap(K, dist, None, K, (1920,1080), cv2.CV_32FC1)
img_undist = cv2.remap(img_raw, map1, map2, cv2.INTER_LINEAR)

# 2. 伽马校正提亮暗部
gamma = 0.7
lookup = np.array([255 * (i/255)**gamma for i in range(256)], dtype=np.uint8)
img_gamma = cv2.LUT(img_undist, lookup)

# 3. 转换到HSV提取红色区域（限速牌红圈）
hsv = cv2.cvtColor(img_gamma, cv2.COLOR_BGR2HSV)
mask_red = cv2.inRange(hsv, (0,100,100), (10,255,255)) | cv2.inRange(hsv, (160,100,100), (180,255,255))

# 4. 对全图进行CLAHE增强（仅亮度通道）
lab = cv2.cvtColor(img_gamma, cv2.COLOR_BGR2LAB)
l, a, b = cv2.split(lab)
clahe = cv2.createCLAHE(clipLimit=3.0, tileGridSize=(8,8))
l_enhanced = clahe.apply(l)
lab_enhanced = cv2.merge((l_enhanced, a, b))
img_clahe = cv2.cvtColor(lab_enhanced, cv2.COLOR_LAB2BGR)

# 5. 灰度化（用于边缘检测）
gray = cv2.cvtColor(img_clahe, cv2.COLOR_BGR2GRAY)

结果对比：预处理后，图像灰度均值提升至89，标准差提升至51；标志边缘直线恢复；YOLOv5s检测置信度从0.61提升至0.87，漏检消除。处理耗时约12ms/帧（Jetson Xavier NX平台），满足实时性要求。

风险与代价：CLAHE增强后，标志牌表面反光区域出现轻微过曝，但未影响检测；伽马校正使暗部噪点略有增加，但通过后续高斯滤波（3×3）有效抑制。

复盘经验：预处理参数并非越强越好。过度的对比度增强会放大图像噪声，导致模型过拟合于纹理细节。建议在实车测试中建立“光照-参数”映射表，根据时间、天气、地理位置动态调整预处理策略。

3.7 常见误区与总结复盘

总结：图像采集与预处理是无人车视觉感知的基石。摄像头标定解决“几何失真”，亮度/对比度调整解决“光照不均”，灰度化解决“计算效率”，直方图均衡化解决“对比度不足”。四个环节环环相扣，任何一步缺失或参数不当，都会在后续识别阶段放大误差。工程实践中，应建立标准化的预处理流水线，并针对不同场景（白天/夜间/雨雾/逆光）配置差异化参数，同时通过可视化工具（如直方图对比、去畸变前后叠加图）持续监控预处理效果，确保下游模型始终接收到高质量输入。