4、图像采集与预处理：图像读取、灰度化、滤波、边缘检测、形态学操作等基础技术

无人车视觉导航系统的第一步，是将车载摄像头捕捉到的物理世界转化为可供算法理解与决策的数字信号。然而，原始图像数据往往包含大量噪声、光照干扰和冗余信息，直接用于路径判断会导致计算量过大且鲁棒性不足。图像采集与预处理正是解决这一问题的关键环节，它位于感知链路的最前端，其质量直接决定了后续车道线检测、障碍物识别和路径规划的准确性。本章将系统讲解从图像读取到形态学操作的完整技术栈，并深入剖析各环节在无人车场景下的工程化应用要点。

上图展示了无人车视觉导航中图像采集与预处理的标准链路。整个流程从硬件触发开始，经过软件解码、像素级操作，最终输出可供高级算法直接使用的特征图。下面我们将逐一拆解每个环节的核心原理与工程实现。

4.1 图像采集与读取：从物理世界到数字矩阵

核心原理：图像采集是视觉导航的物理基础。车载摄像头通常采用CMOS或CCD传感器，通过光学镜头将场景投影到感光元件上，经过模数转换（ADC）生成原始RAW数据。在无人车应用中，摄像头通常以固定帧率（如30fps）连续采集，每帧图像的分辨率、位深和色彩空间直接影响后续处理效率。图像读取则是指将RAW数据或压缩格式（如JPEG、H.264）解码为OpenCV等算法库可操作的多维数组（通常为numpy.ndarray）。

关键参数与操作流程：

• 分辨率选择：过高分辨率（如4K）会显著增加计算延迟，过低则丢失细节。无人车通常选用640×480或1280×720作为平衡点。
• 色彩空间：摄像头默认输出BGR（蓝绿红）顺序，而部分算法库（如matplotlib）使用RGB，需注意转换。
• 帧率控制：为保证实时性，需使用cv2.VideoCapture的缓冲机制，并配合cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)减少延迟。

import cv2
# 初始化摄像头，0表示默认摄像头
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
ret, frame = cap.read()  # 读取一帧
if not ret:
    print("图像采集失败")
    exit()
cv2.imwrite("raw_frame.jpg", frame)  # 保存原始帧
cap.release()

4.2 灰度化：降低维度，突出亮度特征

核心原理：彩色图像包含三个通道（BGR），而灰度图仅保留亮度信息（单通道）。对于车道线检测、边缘提取等任务，颜色信息并非必需，灰度化可将数据量减少至原来的1/3，同时消除颜色噪声干扰。标准转换公式为：Gray = 0.299R + 0.587G + 0.114B，该权重基于人眼对绿色最敏感、蓝色最不敏感的特性。

判断方法：在无人车场景中，若场景存在强阴影或逆光，直接灰度化可能导致车道线对比度不足。此时可考虑使用自适应阈值或HSV色彩空间提取特定颜色（如白色车道线）后再灰度化。

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# 可选：直方图均衡化增强对比度
gray_eq = cv2.equalizeHist(gray)

4.3 滤波去噪：平滑图像，保留边缘

核心原理：摄像头传感器噪声、光线波动和传输误差会在图像中产生随机像素点（椒盐噪声）或高斯噪声。滤波操作通过邻域像素的加权平均或统计排序来抑制噪声，但过度平滑会模糊边缘，影响后续检测。无人车场景中常用的三种滤波器各有侧重：

• 高斯滤波：使用正态分布权重进行加权平均，对高斯噪声抑制效果好，边缘保留中等。核大小通常为3×3或5×5，σ值取0.8~1.5。
• 中值滤波：取邻域像素的中值替代中心值，对椒盐噪声（黑白点）有奇效，但计算量较大。
• 双边滤波：同时考虑空间距离和像素值差异，能在去噪的同时保留边缘，但速度较慢，适合离线处理。

# 高斯滤波
gauss = cv2.GaussianBlur(gray, (5,5), 1.0)
# 中值滤波
median = cv2.medianBlur(gray, 5)
# 双边滤波
bilateral = cv2.bilateralFilter(gray, 9, 75, 75)

4.4 边缘检测：提取轮廓，定位车道线

核心原理：边缘是图像中灰度值发生剧烈变化的位置，对应车道线边界、路沿和障碍物轮廓。Canny边缘检测是业界标准，其流程包括：高斯滤波去噪 → 计算梯度幅值和方向（Sobel算子） → 非极大值抑制（细化边缘） → 双阈值检测（高阈值确定强边缘，低阈值连接弱边缘）。

操作流程与参数调优：

1. 使用cv2.Canny(image, threshold1, threshold2)，其中threshold1和threshold2为滞后阈值。经验值：threshold1=50，threshold2=150。
2. 若检测到的边缘断裂过多，可降低threshold1；若噪声边缘过多，则提高threshold2。
3. 在无人车中，通常先设置ROI（感兴趣区域）裁剪掉天空和远处无关区域，再执行Canny，以减少计算量。

edges = cv2.Canny(gauss, 50, 150)
# ROI裁剪：假设图像尺寸为640x480，保留底部300行
roi_edges = edges[180:480, :]

4.5 形态学操作：连接断线，消除噪点

核心原理：形态学操作基于图像形状进行膨胀（dilate）和腐蚀（erode）。膨胀使白色区域扩大，可连接断裂的车道线；腐蚀使白色区域缩小，可去除孤立噪点。开运算（先腐蚀后膨胀）用于消除小物体，闭运算（先膨胀后腐蚀）用于填充小孔。在无人车中，边缘检测后的二值图常存在断线，需通过闭运算修复。

kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
# 闭运算：先膨胀后腐蚀
closed = cv2.morphologyEx(roi_edges, cv2.MORPH_CLOSE, kernel)
# 开运算：去除小噪点
opened = cv2.morphologyEx(closed, cv2.MORPH_OPEN, kernel)

参数选择：核大小决定连接距离。5×5核可连接间隔约10像素的断线，但也会将相邻障碍物粘连。建议根据摄像头安装高度和车道线宽度动态调整。

4.6 综合实战：从原始帧到可用的二值图

以下代码整合了本章全部技术，形成无人车视觉预处理的标准流程：

import cv2
import numpy as np

def preprocess(frame):
    # 1. 裁剪ROI（假设底部60%为有效区域）
    h, w = frame.shape[:2]
    roi = frame[int(h*0.4):, :]
    # 2. 灰度化
    gray = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
    # 3. 高斯滤波
    blur = cv2.GaussianBlur(gray, (5,5), 1.2)
    # 4. 边缘检测
    edges = cv2.Canny(blur, 50, 150)
    # 5. 形态学闭运算连接断线
    kernel = np.ones((5,5), np.uint8)
    closed = cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel)
    return closed

# 主循环
cap = cv2.VideoCapture(0)
while True:
    ret, frame = cap.read()
    if not ret:
        break
    processed = preprocess(frame)
    cv2.imshow("Processed", processed)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

4.7 常见误区与调优复盘

误区一：过度依赖滤波。滤波虽能去噪，但会损失细节。在光照良好的环境下，可跳过中值滤波，仅用高斯滤波轻平滑。

误区二：Canny阈值固定。不同时段光照变化剧烈，固定阈值会导致检测失效。建议使用自适应阈值（如Otsu方法）或根据图像亮度动态调整。

误区三：忽视色彩空间。在黄昏或夜间，灰度图对比度极低，此时应切换至HSV空间提取高亮度区域，再执行后续操作。

图像预处理是无人车视觉导航的基石，虽然每个操作看似简单，但组合起来需要精细调优。掌握本章技术后，读者应能独立完成从摄像头原始数据到高质量二值图的转换，为后续车道线拟合和路径规划打下坚实基础。