4、目标识别基础：图像分类、目标检测、语义分割与实例分割的核心概念
在AGV（自动导引车）调度系统中，视觉感知是连接物理世界与决策算法的关键桥梁。无论是识别货架上的二维码、检测通道中的障碍物，还是区分托盘与工人，都依赖于计算机视觉中的四大基础任务：图像分类、目标检测、语义分割与实例分割。这四种技术构成了从“看见”到“理解”的递进层次，也是后续实现路径状态感知与任务分配接口的算法基石。本章将深入剖析这四类任务的核心原理、适用场景、判断方法及工程落地中的常见误区，帮助你在AGV调度系统的视觉模块选型与算法设计中建立清晰的技术坐标系。
上图展示了四种视觉任务在信息粒度上的递进关系。图像分类回答“图像里有什么”，目标检测进一步回答“物体在哪里”，语义分割将类别标签细化到每个像素，而实例分割则在同一类别中区分不同个体。在AGV调度场景中，这四种任务并非互斥，而是根据具体需求组合使用。例如，AGV在库房通道中导航时，需要语义分割来识别可行驶区域；而在抓取指定料箱时，则需要实例分割来区分堆叠的多个箱子。理解这些任务的本质差异，是设计高效视觉感知管线的第一步。
4.1 核心原理：从全局标签到像素级个体理解
四种视觉任务的核心区别在于输出空间的不同。图像分类（Image Classification）将整幅图像映射为一个或一组类别标签，其数学模型可表示为 f: I → C，其中 I 为输入图像张量，C 为类别概率分布。典型的卷积神经网络（CNN）如 ResNet、EfficientNet 通过全局池化层将特征图压缩为固定长度的特征向量，再经全连接层输出类别概率。这种任务适合判断“当前场景是否属于仓库通道”或“货架上是否为空”等全局性问题。
目标检测（Object Detection）在分类的基础上增加了位置回归，输出为多个边界框（Bounding Box）及其类别标签。其核心架构分为两阶段（如 Faster R-CNN）和单阶段（如 YOLO、SSD）两类。两阶段方法先生成候选区域，再对每个区域进行分类和回归，精度较高但速度较慢；单阶段方法直接在特征图上预测边界框和类别，速度更快，更适合AGV的实时避障需求。目标检测的输出通常表示为 [x_center, y_center, width, height, class_id, confidence] 的集合。
语义分割（Semantic Segmentation）对图像中的每个像素赋予一个类别标签，输出与输入图像同尺寸的分割掩码（Mask）。全卷积网络（FCN）是这一任务的奠基之作，后续的 U-Net、DeepLab 系列通过编码器-解码器结构和空洞卷积（Atrous Convolution）提升了分割精度。在AGV场景中，语义分割常用于识别地面、墙壁、货架、行人等不同区域，为路径规划提供像素级的可通行区域信息。其输出是一个 H × W × C 的概率图，其中 C 为类别数。
实例分割（Instance Segmentation）是语义分割与目标检测的结合，它不仅要为每个像素分配类别标签，还要区分同一类别中的不同个体。Mask R-CNN 是这一任务的经典代表，它在 Faster R-CNN 的基础上增加了一个并行的掩码分支，为每个检测到的实例生成一个二值掩码。在AGV抓取任务中，实例分割能够精确区分堆叠在一起的多个料箱，为机械臂提供每个箱子的独立轮廓和位姿估计基础。其输出为 N 个实例的掩码集合，每个掩码对应一个具体的物体。
| 任务类型 | 输出粒度 | 典型网络 | AGV典型应用 | 计算开销 |
|---|---|---|---|---|
| 图像分类 | 整图标签 | ResNet, EfficientNet | 场景识别、库区判断 | 低 |
| 目标检测 | 边界框+类别 | YOLO, Faster R-CNN | 障碍物检测、二维码定位 | 中 |
| 语义分割 | 像素级类别 | U-Net, DeepLab | 可行驶区域划分 | 高 |
| 实例分割 | 像素级+个体 | Mask R-CNN, SOLO | 料箱抓取、堆叠分离 | 很高 |
4.2 判断方法：如何为AGV场景选择合适的视觉任务
在实际的AGV调度系统设计中，选择哪种视觉任务并非越复杂越好，而是取决于任务需求、硬件约束和实时性要求。以下是四个关键判断维度：
- 任务目标粒度：如果只需要知道“前方是否有障碍物”，目标检测即可满足；如果需要知道“障碍物具体占据哪些像素区域以便精确绕行”，则需要语义分割；如果需要“绕过A障碍物并抓取B障碍物旁边的料箱”，则实例分割是必要选择。
- 实时性预算：AGV通常以10-30 FPS的帧率处理视觉数据。图像分类在嵌入式设备上可达到毫秒级延迟；目标检测（如YOLOv5s）在Jetson Xavier上可达到30 FPS以上；而语义分割和实例分割的推理时间通常在50-200ms之间，需要根据AGV的行驶速度（通常≤1.5m/s）计算安全反应距离。例如，以1m/s行驶时，200ms延迟意味着20cm的感知盲区，必须通过多传感器融合或预测算法补偿。
- 硬件资源约束：实例分割模型参数量通常在40-60M以上，需要至少4GB显存；而轻量级分类模型（如MobileNet）仅需几MB。AGV车载工控机若采用低功耗CPU，则只能运行轻量级网络；若配备GPU或NPU，则可考虑更复杂的模型。
- 标注成本与数据获取：图像分类标注成本最低，每张图仅需一个标签；目标检测需要绘制边界框，成本中等；语义分割需要逐像素标注，成本极高；实例分割还需要区分个体，标注成本最高。在AGV项目中，如果场景相对固定（如室内仓库），可考虑用合成数据或半自动标注工具降低标注成本。
4.3 案例拆解：基于实例分割的料箱抓取与堆叠分离
某电商仓储AGV需要从货架上的料箱堆中抓取指定SKU的料箱。初始场景中，多个料箱紧密堆叠，且部分料箱被遮挡，传统目标检测只能给出边界框，无法提供精确的抓取点。项目约束为：AGV搭载2D彩色相机（分辨率1920×1080），工控机配备NVIDIA Jetson AGX Orin（32GB内存），要求抓取成功率≥95%，单次抓取周期≤3秒。
初始现象：使用YOLOv5检测料箱时，由于料箱紧密排列，边界框重叠严重，导致抓取点计算偏差，成功率仅78%。分析发现，边界框包含多个料箱的部分像素，导致位姿估计（特别是旋转角度）不准确。关键输入数据包括：料箱尺寸（400mm×300mm×280mm）、相机内参（焦距f=1200像素）、料箱表面纹理（单一颜色，无显著特征）。
实际操作步骤：
- 改用Mask R-CNN（ResNet-50骨干）进行实例分割，输出每个料箱的像素级掩码。
- 对每个掩码计算最小外接矩形，获取精确的中心点坐标和旋转角度。
- 结合相机内参和已知料箱尺寸，通过PnP算法求解料箱的6D位姿。
- 将位姿数据发送给调度系统，调度系统根据任务优先级选择目标料箱，并规划机械臂抓取路径。
结果对比：实例分割方案将抓取成功率提升至96.5%，单次抓取周期从4.2秒缩短至2.8秒。但代价是模型推理时间从YOLOv5的15ms增加到120ms，且GPU占用率从35%升至80%。为缓解计算压力，系统增加了ROI裁剪策略：先以10 FPS运行YOLOv5快速定位料箱堆区域，再对该区域（约占全图的30%）运行Mask R-CNN，整体帧率维持在8 FPS，满足调度系统的更新频率。
复盘经验：实例分割的精度优势在密集堆叠场景中不可替代，但必须配合ROI策略控制计算成本。此外，掩码的平滑处理（如形态学开运算）可减少边缘噪声对位姿估计的影响。该方案已稳定运行6个月，未出现因视觉误差导致的碰撞事故。
4.4 常见误区与总结复盘
在AGV视觉任务选型与实施中，工程师常陷入以下误区：
- 误区一：追求“全能模型”。试图用一个实例分割模型同时完成障碍物检测、地面分割和料箱识别，导致模型复杂度过高、训练数据需求巨大且推理速度不达标。正确做法是拆分为多个专用模型，通过调度系统按需调用。
- 误区二：忽视类别不平衡。在AGV场景中，“地面”像素通常占80%以上，而“行人”或“料箱”像素极少。若不采用加权损失函数或难例挖掘，模型会偏向预测多数类，导致关键目标漏检。
- 误区三：混淆语义分割与实例分割的适用边界。语义分割将多个相邻的同类物体合并为一个连通区域，无法区分“两个紧挨的料箱”；而实例分割能区分个体。在需要精确计数或抓取时，必须使用实例分割。
- 误区四：忽略后处理环节。模型输出的原始掩码或边界框需要经过非极大值抑制（NMS）、连通域分析、轮廓提取等后处理才能用于控制。后处理逻辑的鲁棒性直接影响系统稳定性。
总结复盘：图像分类、目标检测、语义分割与实例分割构成了AGV视觉感知的四个层次。在实际工程中，应根据任务需求、硬件约束和实时性要求选择合适的技术组合。建议采用“粗检测+细分割”的级联架构，并建立完善的评估指标（如mAP、IoU、推理延迟）来量化系统性能。同时，要重视数据标注质量与场景覆盖度，因为视觉模型的性能上限由数据质量决定。在AGV调度系统中，视觉感知模块的输出应标准化为统一的接口格式（如JSON消息），以便与路径规划、任务分配模块无缝对接。