📚 课程目录第3章目标识别入门

3、目标识别入门：基于颜色、形状、轮廓的经典图像处理方法，实现简单目标检测

在旭日机器人视觉系统中，目标识别是自主导航、物体抓取与跟随控制的基础能力。与深度学习方案相比，基于颜色、形状和轮廓的经典图像处理方法具有计算开销低、可解释性强、无需大量标注数据等优势，尤其适合算力受限的嵌入式平台（如旭日X3派）和规则明确的工业场景。本章将系统讲解经典图像处理的核心原理、操作流程、实战案例与常见误区，帮助读者建立从像素到语义的完整认知链路。

上图展示了经典图像处理目标检测的完整链路：原始图像经过预处理后，分别进入颜色空间转换和轮廓提取两条并行分支，最终在目标判定阶段融合特征，输出可供运动控制接口使用的目标信息。下面将逐一拆解每个环节的核心原理与工程实现要点。

3.1 核心原理：从像素到语义的映射

经典图像处理目标检测的本质是建立像素特征与目标语义之间的映射关系。其数学基础是图像在颜色空间中的分布特性以及物体边缘的梯度变化规律。颜色特征具有旋转、缩放不变性，但对光照敏感；形状特征对光照鲁棒，但易受遮挡和形变影响。实际工程中通常采用多特征融合策略，以颜色粗定位、以形状精筛选，从而兼顾鲁棒性与准确性。

在旭日机器人平台上，图像传感器输出的是BGR格式的彩色图像。BGR空间各通道相关性高，直接设定阈值难以应对光照变化。因此，第一步通常将图像转换到HSV（色相、饱和度、明度）空间。HSV空间将颜色信息与亮度信息分离，H通道对光照变化不敏感，S通道反映色彩纯度，V通道表示明暗程度。例如，红色在BGR空间中R通道值高，但不同光照下R值波动大；而在HSV空间中，红色的H值稳定在0°附近（或经OpenCV归一化后为0~10和170~180区间），S值较高，V值可适当放宽。

形状特征则依赖于边缘检测与轮廓提取。Canny边缘检测算子通过高斯滤波、梯度计算、非极大值抑制和双阈值滞后处理，能够输出单像素宽、连续的边缘图。随后，cv2.findContours函数从二值边缘图中提取轮廓点集，每个轮廓以点序列形式存储。轮廓的几何属性（面积、周长、宽高比、Hu矩等）构成了形状描述的基础。

关键认知：颜色和形状是互补特征。颜色提供“是什么颜色”的候选区域，形状提供“是什么物体”的验证依据。单独使用颜色容易产生大量误检（如红色背景），单独使用形状则难以区分同形不同色的物体。经典方法的核心在于设计合理的特征融合规则。

3.2 判断方法：颜色阈值与轮廓分析的完整流程

实现基于颜色和形状的目标检测，需要遵循一套标准化的操作流程。以下以OpenCV为例，给出可复用的处理步骤。

3.2.1 颜色空间转换与阈值分割

图像采集与预处理：使用cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)转换颜色空间。预处理阶段可先执行高斯模糊（cv2.GaussianBlur，核大小5×5）以抑制传感器噪声。
设定HSV阈值范围：根据目标颜色在HSV空间的分布，设定下界和上界。例如，红色目标需要两个区间（因为红色H值在0°和180°处不连续）：lower_red1 = (0, 100, 100)，upper_red1 = (10, 255, 255)以及lower_red2 = (160, 100, 100)，upper_red2 = (179, 255, 255)。
生成掩码：使用cv2.inRange生成二值掩码图，白色区域为候选目标区域。
形态学操作：执行开运算（先腐蚀后膨胀）去除小噪点，再执行闭运算（先膨胀后腐蚀）填充目标内部空洞。核大小建议3×3或5×5。

3.2.2 轮廓提取与形状筛选

边缘检测：对掩码图使用cv2.Canny提取边缘，阈值可设为50和150。
轮廓查找：调用cv2.findContours，使用RETR_EXTERNAL仅提取最外层轮廓，使用CHAIN_APPROX_SIMPLE压缩水平、垂直和对角线段。
轮廓过滤：遍历每个轮廓，计算cv2.contourArea面积，过滤掉面积小于min_area（如500像素）的噪声轮廓。
形状判定：使用cv2.approxPolyDP进行多边形逼近，根据顶点数量判断形状（三角形3个顶点、矩形4个顶点、圆形则顶点数较多且轮廓面积与最小外接圆面积之比接近π/4）。
输出目标信息：使用cv2.boundingRect获取最小外接矩形，得到目标框的(x, y, w, h)；使用cv2.moments计算质心坐标，供后续跟随控制使用。

步骤	关键函数	输入/输出	典型参数
颜色空间转换	cv2.cvtColor	BGR帧 → HSV帧	COLOR_BGR2HSV
阈值分割	cv2.inRange	HSV帧 → 二值掩码	lower/upper数组
形态学处理	cv2.morphologyEx	掩码 → 去噪掩码	MORPH_OPEN, 5×5核
边缘检测	cv2.Canny	掩码 → 边缘图	threshold1=50, threshold2=150
轮廓提取	cv2.findContours	边缘图 → 轮廓列表	RETR_EXTERNAL, CHAIN_APPROX_SIMPLE
形状判定	cv2.approxPolyDP	轮廓 → 多边形顶点	epsilon=0.02*周长

3.3 案例拆解：红色圆形目标检测与跟随

假设旭日机器人需要在室内环境中识别一个红色圆形标志物，并输出其中心坐标供跟随控制使用。实际场景中，地面为浅灰色，存在白色反光区域和少量阴影，光照为室内LED灯，亮度基本稳定但有轻微波动。

初始现象与目标：直接使用BGR阈值分割时，白色反光区域被误检为红色候选区，导致目标框跳动。目标是通过HSV阈值和形状验证，实现稳定检测，检测帧率不低于30FPS。

关键输入数据：摄像头分辨率为640×480，帧率30FPS。红色标志物实际直径约10cm，在图像中约占直径80~120像素。HSV调试结果：H值在0~8和172~179两个区间，S值在120~255，V值在80~255。

分析判断过程：首先，白色反光区域的S值通常低于40，因此通过设置S阈值下限为120即可排除。其次，圆形标志物的轮廓面积与最小外接圆面积之比应大于0.7，而矩形或细长形噪声轮廓该比值通常低于0.5。最后，目标框的宽高比应接近1.0（0.8~1.2），进一步排除细长形干扰。

实际操作步骤：

import cv2
import numpy as np

cap = cv2.VideoCapture(0)
# 定义红色HSV双区间
lower_red1 = np.array([0, 120, 80])
upper_red1 = np.array([8, 255, 255])
lower_red2 = np.array([172, 120, 80])
upper_red2 = np.array([179, 255, 255])

while True:
    ret, frame = cap.read()
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
    mask1 = cv2.inRange(hsv, lower_red1, upper_red1)
    mask2 = cv2.inRange(hsv, lower_red2, upper_red2)
    mask = cv2.bitwise_or(mask1, mask2)
    # 形态学去噪
    kernel = np.ones((5,5), np.uint8)
    mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)
    mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)
    # 轮廓提取
    contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    for cnt in contours:
        area = cv2.contourArea(cnt)
        if area < 500:
            continue
        # 圆形度检测
        perimeter = cv2.arcLength(cnt, True)
        if perimeter == 0:
            continue
        circularity = 4 * np.pi * area / (perimeter * perimeter)
        if circularity < 0.7:
            continue
        x, y, w, h = cv2.boundingRect(cnt)
        if abs(w - h) / max(w, h) > 0.2:
            continue
        # 计算质心
        M = cv2.moments(cnt)
        if M["m00"] != 0:
            cx = int(M["m10"] / M["m00"])
            cy = int(M["m01"] / M["m00"])
            cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)
            cv2.circle(frame, (cx, cy), 5, (0, 0, 255), -1)
    cv2.imshow("Detection", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

结果对比：加入形状验证后，白色反光区域的误检率从约30%降至0.5%以下；目标框的抖动幅度从±20像素降至±3像素以内。处理单帧耗时约12ms，满足30FPS实时性要求。

风险与代价：圆形度阈值和宽高比阈值需要根据实际目标尺寸和相机距离进行标定。若目标距离过远（直径小于40像素），轮廓提取不稳定，圆形度计算误差增大。此时可适当降低面积阈值至200像素，但会增加噪声风险。

复盘经验：HSV阈值调试应使用轨迹条（cv2.createTrackbar）动态调整，避免反复编译。形态学操作的核大小应根据目标尺寸调整，目标越大核可适当增大。形状验证参数应留有裕量，例如圆形度阈值设为0.65而非0.7，以应对轻微形变。

工程经验：在旭日机器人上部署时，建议将HSV阈值和形状参数写入配置文件（如YAML），便于现场调试。同时，利用cv2.getTickCount统计处理耗时，若超过20ms需考虑降低分辨率或简化形态学操作。

3.4 常见误区与总结复盘

经典图像处理方法虽然原理简单，但在工程落地中容易陷入以下误区，导致检测效果不佳或系统不稳定。

误区一：忽视光照变化。HSV空间虽然分离了亮度，但极端光照（如强逆光、阴影）仍会导致S和V通道剧烈变化。解决方案是增加光照补偿预处理（如直方图均衡化），或采用自适应阈值。
误区二：阈值范围设置过宽或过窄。过宽会引入大量背景噪声，过窄则漏检目标。正确做法是采集多组不同光照下的目标样本，统计H/S/V的均值和标准差，以均值±3倍标准差作为初始阈值。
误区三：忽略轮廓层级关系。使用RETR_EXTERNAL会丢失内部轮廓信息，若目标内部有文字或图案，可能导致形状判定失败。此时应使用RETR_CCOMP或RETR_TREE并分析层级关系。
误区四：形状判定过于严格。实际目标可能存在遮挡、旋转或非刚性形变，严格的几何条件（如矩形必须四个顶点）会导致漏检。建议使用面积比、宽高比等统计特征，而非精确的顶点数。
误区五：忽略性能优化。在嵌入式平台上，全分辨率处理可能无法达到实时要求。应优先使用ROI（感兴趣区域）裁剪，只处理上一帧目标周围的扩展区域，可减少50%以上的计算量。

总结复盘：经典图像处理目标检测的核心在于“特征工程”而非“模型训练”。颜色特征负责快速定位候选区域，形状特征负责精确验证目标身份，两者结合能够在规则场景下达到与轻量级深度学习模型相当的精度，而计算开销仅为后者的十分之一。对于旭日机器人视觉系统而言，掌握这一方法不仅是实现目标跟随的基础，更是理解后续运动控制接口数据来源的关键。在实际项目中，建议先使用离线图像集验证算法流程，再迁移到实时视频流，最后根据机器人运动速度调整检测频率和ROI策略，形成“检测-跟踪-控制”的闭环优化。