3. 标注任务类型总览

在自动驾驶自动标注与预标注平台中,标注任务类型决定了数据表达形式、模型输出结构、质检规则以及下游训练接口。不同任务并非简单的“画框”或“涂色”,而是对物理世界不同粒度、不同语义层级的结构化描述。理解这些任务的定义与边界,是设计预标注流水线和选择自动标注模型的前提。

核心原理:从像素到语义再到几何

自动驾驶感知数据主要来自摄像头、激光雷达和毫米波雷达。标注任务本质上是在这些数据上建立“可被模型学习”的监督信号。按照输出空间和语义粒度,可以划分为以下几类:

  • 2D框:在图像平面内用矩形框标出目标,输出为 (x_min, y_min, x_max, y_max, class_id)。它不描述深度和朝向,适合远距离、小目标或作为3D框的投影辅助。
  • 3D框:在自车坐标系或激光雷达坐标系中描述目标的三维位置、尺寸和朝向,通常输出 (x, y, z, l, w, h, yaw, class_id)。它是自动驾驶中最核心的标注类型,直接服务于轨迹预测和规划控制。
  • 语义分割:对每个像素或点赋予类别标签,如道路、天空、建筑、植被、车辆、行人等。它不区分同一类别的不同个体,输出为密集类别图。
  • 实例分割:在语义分割基础上区分同一类别的不同实例,输出为“类别+实例ID”的掩码,常用于可行驶区域内的车辆、行人精细分离。
  • 关键点:标注目标的关键部位,如行人头部、肩、肘、腕、髋、膝、踝,或车辆的车灯、车轮、后视镜等。输出为有序点集,用于姿态估计和行为分析。
  • 车道线:以折线或曲线形式描述车道边界、车道中心线、导流线等,输出为点序列或多项式参数,并附带线型、颜色、是否可跨越等属性。
  • 可行驶区域:描述车辆可以安全行驶的区域,通常以多边形或掩码表示,区分“可行驶”“不可行驶”“未知”三类,是规划模块的重要输入。

任务关系与数据流

这些任务并非孤立存在。2D框常作为3D框在图像上的投影校验;语义分割和实例分割共享像素级标注工具;车道线和可行驶区域共同构成道路结构理解;关键点则常与2D框或3D框联合标注。下图展示了各任务在感知数据上的空间关系与典型输出形式:

自动驾驶标注任务类型总览 从像素级语义到三维几何,不同任务服务于不同感知与规划模块 2D 框 图像平面矩形框 (x_min, y_min, x_max, y_max) 类别 + 置信度 3D 框 三维空间长方体 (x, y, z, l, w, h, yaw) 类别 + 遮挡 + 截断 语义分割 像素级类别标签 道路 / 天空 / 建筑 / 植被 不区分同类个体 实例分割 类别 + 实例 ID 掩码 区分同一类不同个体 车辆 / 行人精细分离 关键点 有序点集 行人:头/肩/肘/腕/髋/膝/踝 车辆:车灯/车轮/后视镜 车道线 折线 / 曲线 / 多项式 车道边界 / 中心线 / 导流线 线型 + 颜色 + 可跨越属性 可行驶区域 多边形 / 掩码 可行驶 / 不可行驶 / 未知 规划模块核心输入 任务选择建议: • 2D框适合图像级目标检测与预标注初筛;3D框是自动驾驶核心,直接服务预测与规划。 • 语义分割理解场景结构;实例分割区分个体;关键点捕捉姿态;车道线与可行驶区域描述道路拓扑。 • 实际平台中常多任务联合标注,共享同一帧数据,通过任务编排与质检规则保证一致性。

方法流程:从任务定义到标注执行

在平台工程中,一个标注任务从定义到交付通常经历以下步骤:

  1. 任务定义:明确标注类型、类别体系、属性字段、坐标系和输出格式。例如3D框需要定义自车坐标系原点、朝向角范围、遮挡等级。
  2. 数据准备:抽取关键帧、同步多传感器数据、生成点云与图像的对齐关系。
  3. 预标注:调用自动标注模型生成初始结果,如3D检测模型输出3D框,分割模型输出掩码,车道线模型输出折线。
  4. 人工修正:标注员在工具中调整框、点、线、掩码,处理模型漏检和误检。
  5. 质检与验收:按任务类型设置不同质检规则,如3D框检查尺寸合理性、车道线检查连续性、可行驶区域检查闭合性。
  6. 格式导出:转换为训练框架所需格式,如KITTI、COCO、nuScenes或自定义JSON。

典型输出格式示例(3D框):

{
  "type": "3d_box",
  "class": "car",
  "center": [12.4, -1.8, 0.9],
  "size": [4.6, 1.9, 1.5],
  "yaw": 1.57,
  "occlusion": "partial",
  "truncation": 0.0,
  "sensor": "lidar_top"
}

案例/场景:城市路口多任务联合标注

以城市十字路口为例,同一帧数据可能同时包含以下标注任务:

任务类型 标注对象 输出形式 主要用途
2D框 车辆、行人、交通灯 矩形框 + 类别 图像检测预标注、投影校验
3D框 车辆、行人、骑行者 三维框 + 朝向 轨迹预测、规划避障
语义分割 道路、天空、建筑、植被 像素类别图 场景理解、可行驶区域辅助
实例分割 车辆、行人 实例掩码 精细分离、遮挡分析
关键点 行人、车辆 有序点集 姿态估计、行为预测
车道线 车道边界、中心线 折线/曲线 车道保持、路径规划
可行驶区域 路面可通行区域 多边形/掩码 规划模块安全边界

误区与复盘

常见误区一:用2D框代替3D框。2D框无法提供深度和朝向,直接用于规划会导致距离估计错误。预标注阶段可以用2D框快速筛选,但最终训练必须使用3D框。

常见误区二:语义分割与实例分割混用。语义分割不区分同类个体,若用于多目标跟踪会丢失实例身份。需要区分个体时必须使用实例分割。

常见误区三:车道线与可行驶区域边界混淆。车道线描述的是车道结构,可行驶区域描述的是车辆可通行空间,两者在路口、施工区、临时停车区域差异明显,不能互相替代。

常见误区四:关键点顺序不统一。不同标注员对“左肩”“右肩”定义不一致会导致训练数据噪声。平台必须在任务定义阶段固定关键点顺序和命名规范。

复盘建议:在平台中为每种任务类型建立独立的质检规则集。例如3D框检查长宽高是否在合理范围、yaw是否连续;车道线检查点间距和曲率;可行驶区域检查多边形是否自相交。预标注模型与人工修正的比例应随任务类型动态调整,3D框和实例分割通常需要更高的人工介入比例。