📚 课程目录第3章视觉识别基础

3、视觉识别基础：图像采集、颜色空间（RGB/HSV）、图像预处理（灰度化、滤波、边缘检测）

无人车视觉识别系统的首要任务，是从车载摄像头获取的原始图像中提取出对驾驶决策有意义的语义信息。无论是车道线检测、交通标志识别，还是行人/障碍物感知，其底层都依赖一套严谨的图像处理流水线。本章聚焦于视觉识别链路的最前端：图像采集的工程约束、颜色空间的数学本质与转换逻辑，以及灰度化、滤波、边缘检测三大预处理操作。理解这些基础，是后续实现自动行驶演示项目的前提——因为摄像头输出的原始数据，几乎不可能被控制算法直接使用。

3.1 图像采集：无人车视觉的物理入口

核心原理：从光信号到数字矩阵

车载摄像头通过CMOS或CCD感光元件将环境光转换为电信号，再经模数转换（ADC）生成数字图像。对于无人车教学项目，通常选用USB接口的普通RGB摄像头或树莓派Camera Module。图像采集的关键参数包括：分辨率（如640×480或1280×720）、帧率（FPS，通常要求≥30帧/秒以保证实时性）、曝光时间（影响亮度与运动模糊）以及白平衡（影响颜色还原）。在自动行驶演示中，摄像头通常安装在车体前部，俯仰角约10°-15°，以获取前方3-8米范围内的车道信息。

操作流程：采集配置与校验

设备初始化：在OpenCV中通过 cv2.VideoCapture(0) 打开摄像头，设置 CAP_PROP_FRAME_WIDTH 和 CAP_PROP_FRAME_HEIGHT。
帧率控制：使用 cap.set(cv2.CAP_PROP_FPS, 30) 设定帧率，并在循环中通过 time.sleep() 或等待键值控制读取节奏。
画面质量检查：连续采集10帧，计算平均亮度（灰度均值应在80-180之间）和标准差（过小说明画面灰平，过大说明过曝或欠曝）。
畸变校正：若使用广角镜头，需先进行相机标定（棋盘格法），获取内参矩阵和畸变系数，再通过 cv2.undistort() 校正。

常见风险：曝光时间过长会导致运动模糊（车辆高速行驶时尤其严重）；白平衡错误会使白色车道线偏蓝或偏黄，影响后续颜色阈值分割。建议在固定光照环境下先手动锁定曝光和白平衡参数。

3.2 颜色空间：RGB与HSV的数学本质与工程选择

核心原理：两种颜色模型的差异

RGB（红绿蓝）是加色模型，通过三个通道的强度叠加表示颜色，取值范围通常为0-255。RGB直接对应显示器物理发光原理，但三个通道高度相关——当光照强度变化时，R、G、B三个值会同时按比例变化，导致颜色判断不稳定。例如，白色车道线在阴影下RGB值可能从(255,255,255)降至(180,180,180)，但仍为灰色，而黄色车道线在强光下可能从(255,255,0)变为(200,200,50)，肉眼仍可识别，但RGB阈值分割会失效。

HSV（色相、饱和度、明度）将颜色分解为：H（Hue，色相）表示颜色种类（0°-180°对应红→黄→绿→青→蓝→品红→红），S（Saturation，饱和度）表示颜色纯度（0为灰色，255为纯色），V（Value，明度）表示亮度。HSV将颜色与光照分离，使得在V变化时H和S相对稳定，非常适合车道线、交通标志等颜色特征提取。

对比维度	RGB	HSV
通道含义	红/绿/蓝强度	色相/饱和度/明度
光照敏感性	高（三通道同时变化）	低（H/S相对稳定）
颜色分割难度	需多维阈值，易受阴影干扰	单通道H阈值即可粗分割
计算开销	无转换开销	需转换（cv2.cvtColor）
适用场景	原始图像存储、显示	颜色识别、目标检测

判断方法：何时选择HSV

在无人车项目中，若目标物体具有鲜明颜色（如红色停止标志、黄色车道线、蓝色指示牌），优先使用HSV。具体操作：使用 cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) 转换后，通过 cv2.inRange() 设定H/S/V的上下限生成二值掩膜。例如，提取黄色车道线的典型阈值范围为：H: 15-35，S: 80-255，V: 80-255。但需注意，OpenCV中H范围是0-180（而非0-360），且默认图像为BGR顺序。

经验值参考：红色在HSV中H约为0-10和170-180（两个区间），因为红色在色相环上跨越0°边界。实际调试时，建议先用 cv2.createTrackbar() 动态调整阈值，观察掩膜效果后再固化参数。

3.3 图像预处理：灰度化、滤波与边缘检测

核心原理：三步递进降维

灰度化将三通道RGB压缩为单通道灰度图，公式为 Gray = 0.299R + 0.587G + 0.114B（OpenCV的 cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 即采用此加权系数）。灰度化后计算量降为原来的1/3，且保留了亮度梯度信息，是边缘检测的前提。

滤波（平滑）用于去除传感器噪声和道路纹理干扰。常用方法包括：高斯滤波（cv2.GaussianBlur，核大小如5×5，σ=0.8-1.5），对高斯噪声抑制效果好且能保留边缘；中值滤波（cv2.medianBlur，核大小3或5），对椒盐噪声（如小石子反光）效果更佳，但计算较慢。滤波核越大，图像越模糊，边缘定位精度越低，需权衡。

边缘检测的核心是Canny算法，其流程为：高斯滤波 → 计算梯度幅值和方向（Sobel算子） → 非极大值抑制（细化边缘） → 双阈值滞后连接（高阈值确定强边缘，低阈值连接弱边缘）。典型参数为 cv2.Canny(img, 50, 150)，其中低阈值50、高阈值150。

操作流程：标准预处理管道

import cv2
import numpy as np

def preprocess(frame):
    # 1. 裁剪感兴趣区域（ROI），去除天空和车头
    h, w = frame.shape[:2]
    roi = frame[int(h*0.4):h, 0:w]
    
    # 2. 灰度化
    gray = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
    
    # 3. 高斯滤波去噪
    blurred = cv2.GaussianBlur(gray, (5, 5), 1.0)
    
    # 4. Canny边缘检测
    edges = cv2.Canny(blurred, 50, 150)
    
    return edges

案例拆解：车道线检测中的预处理实战

场景与目标：在校园道路场景下，无人车需识别白色和黄色车道线，输出边缘图供后续霍夫变换提取直线。初始现象：直接对原始BGR图做Canny，边缘图中包含大量树叶阴影和路面裂缝噪声，导致霍夫变换误检率超过40%。

分析过程：通过逐帧检查发现，噪声主要来自两方面：一是路面沥青纹理在强光下产生高频灰度变化；二是路肩草地与路面交界处颜色差异大，形成伪边缘。关键指标：原始Canny边缘图中，非车道线边缘像素占比约65%。

操作步骤：

将ROI从全图改为仅保留路面区域（去除天空和两侧树木），ROI顶点坐标根据透视关系设定为梯形。
在灰度化前，先对BGR图进行HSV转换，提取白色（H任意，S<30，V>200）和黄色（H:15-35，S>80，V>80）掩膜，将两掩膜合并后与原图按位与，仅保留车道线颜色区域。
对掩膜后的灰度图使用中值滤波（核5×5）替代高斯滤波，有效去除孤立噪点。
调整Canny阈值为(40, 120)，并增加一个形态学闭运算（核3×3）连接断裂边缘。

结果对比：处理后边缘图中非车道线像素占比降至12%，霍夫变换误检率降至8%以下。代价是每帧处理时间从8ms增至15ms，但仍满足30FPS实时性要求。

复盘经验：颜色掩膜+ROI裁剪是降低复杂场景噪声的最有效手段，其优先级高于滤波参数调优。若在夜间或逆光场景，HSV阈值需动态调整，可考虑使用自适应阈值或光照归一化。

3.4 常见误区与总结复盘

  误区一：认为滤波核越大越好。实际上，5×5高斯滤波已能去除大部分噪声，7×7以上会导致车道线边缘位置偏移2-3像素，在弯道场景中可能造成转向延迟。

  误区二：在RGB空间直接做颜色阈值分割。由于RGB通道相关性，很难找到同时适应阴影和强光的固定阈值。正确做法是转换到HSV后，仅对H通道设阈值，S和V设较宽松范围。

  误区三：忽略摄像头自动曝光的影响。在无人车从室内驶向室外时，自动曝光会瞬间调整亮度，导致连续几帧图像过曝或欠曝，预处理结果剧烈波动。解决方案是固定曝光时间（如设置 cap.set(cv2.CAP_PROP_EXPOSURE, -5)）或使用自动曝光但增加帧间滤波。

总结：视觉识别预处理的核心目标是在保留关键结构信息（边缘、颜色区域）的同时，最大限度抑制环境噪声。图像采集阶段需关注曝光与畸变；颜色空间选择上，HSV比RGB更适合光照变化场景；预处理管道应遵循“ROI裁剪 → 颜色掩膜 → 灰度化 → 滤波 → 边缘检测”的顺序。在实际无人车项目中，建议将预处理参数（ROI坐标、HSV阈值、滤波核大小、Canny阈值）写入配置文件，便于现场调试。下一阶段，这些边缘和颜色特征将输入到霍夫变换或深度学习模型中进行车道线拟合与障碍物识别。