4. 数据采集与标注

在特殊场景感知系统中,算法上限往往不由网络结构决定,而由数据质量决定。多传感器同步采集、时间戳对齐、标注规范与数据集构建流程,构成了从真实世界到可训练样本的完整链路。任何一个环节出现偏差,都会在训练中被放大为系统性误差。

一、核心原理:多源数据的时间一致性

激光雷达、相机、毫米波雷达、IMU 与 GNSS 的采样频率、触发机制和内部时钟各不相同。相机以固定帧率曝光,激光雷达按旋转周期扫描,IMU 以高频连续输出,GNSS 则依赖卫星授时。若直接按“收到数据”的顺序拼接,运动场景下会产生显著的空间错位。

因此,采集系统必须建立统一时间基准。常见做法是使用 PTP(精确时间协议)或 GPS 秒脉冲(PPS)为各传感器授时,将硬件触发信号作为共同起点,再通过软件时间戳记录每帧数据的采集时刻。时间戳对齐的目标,是让同一时刻的物理世界在不同传感器中可被一致表达。

关键原则:先保证硬件同步与统一时钟,再谈软件插值。硬件同步解决“何时采”,软件对齐解决“如何配”。

二、方法流程:从采集到数据集

完整的数据集构建流程可拆为六个阶段:场景设计、同步采集、时间戳对齐、数据清洗、标注与质检、版本化发布。每个阶段都需要可追溯的记录,否则后期无法复现问题。

采集配置示例(YAML 片段)
sensors:
  lidar:   {model: 128线, rate: 10Hz,  trigger: PPS}
  camera:  {model: 全局快门, rate: 30Hz, trigger: 硬触发}
  radar:   {model: 4D成像, rate: 20Hz,  trigger: 软触发}
  imu:     {rate: 200Hz, clock: PTP}
sync:
  master: GNSS_PPS
  max_offset_ms: 2
  interpolation: linear

时间戳对齐通常分两步:先做粗对齐,按最近邻匹配各传感器帧;再做精对齐,利用 IMU 积分或运动补偿,将不同时刻的观测投影到同一参考时刻。对于高速运动场景,还需引入外参标定结果,把点云与图像统一到同一坐标系。

三、标注规范:让标签可被机器理解

标注规范不是“画框说明”,而是数据契约。它必须明确类别定义、边界规则、遮挡处理、截断判定、属性字段与忽略区域。以自动驾驶为例,同一辆被遮挡的车辆,在不同项目中可能被标为“部分可见”或“完全忽略”,若规范不统一,模型将学到矛盾信号。

标注对象关键字段常见规则
车辆3D 框、朝向、类别以可见部分外接框为准,遮挡超 70% 标忽略
行人2D 框、关键点、姿态截断部分需外推完整框,并标记 truncation
车道线折线点、颜色、线型按可见段标注,不推测被遮挡段
可行驶区域多边形、置信度区分确定可行驶与疑似可行驶

规范还应包含正负样本比例、难例定义与标注一致性指标。常用一致性度量包括 IoU 阈值下的匹配率与类别一致率,低于阈值需返工。

四、标注工具与质检闭环

标注工具需支持多传感器联合显示:点云、图像、雷达与轨迹在同一时间轴上联动。工具应提供预标注、自动追踪、跨帧传播与快捷键操作,以降低人工成本。质检环节采用“标注—抽检—返修—再抽检”的闭环,并保留每次修改的版本记录。

建议将标注规范写成可执行检查脚本:如框尺寸超限、朝向跳变、类别非法等,在提交前自动拦截,减少人工返工。

五、典型场景与常见误区

在隧道、地下车库、强逆光与雨雾场景中,传感器退化模式不同。隧道内 GNSS 失锁,时间同步需切换为本地时钟保持;地下车库缺乏纹理,视觉标注需更多依赖点云与雷达。采集时应记录环境标签,便于后续按场景分层评估。

常见误区:只对齐时间戳却忽略外参;只标注可见区域却要求模型预测完整目标;用同一规范处理所有场景。这些都会导致训练与评测脱节。

复盘时建议统计各环节耗时与返工率:采集同步失败率、时间戳偏移分布、标注一致性、质检拦截率。只有把数据链路当作工程系统来度量,才能持续产出高质量数据集。

多传感器同步采集与数据集构建链路 激光雷达 10Hz / PPS 触发 相机 30Hz / 硬触发 毫米波雷达 20Hz / 软触发 IMU / GNSS 200Hz / PTP 授时 统一时间基准:GNSS PPS + PTP 硬件触发对齐 · 最大偏移 ≤ 2ms · 记录每帧采集时刻 时间戳对齐 最近邻粗对齐 + 运动补偿精对齐 外参标定统一坐标系 数据清洗与质检 去重 · 丢帧检测 · 偏移分布统计 自动拦截异常帧 标注规范与工具 类别定义 · 遮挡规则 · 属性字段 多传感器联动标注 · 预标注 数据集版本发布 训练/验证/测试划分 · 场景分层 版本化 · 可追溯 · 一致性报告 质检返修闭环

综上,多传感器同步采集解决“同一时刻”的问题,时间戳对齐解决“同一空间”的问题,标注规范解决“同一语义”的问题,而数据集构建流程则把三者固化为可复现的工程能力。只有把数据链路当作与模型同等重要的对象来设计,特殊场景下的感知系统才具备稳定迭代的基础。