4. 数据采集工程
数据采集是自动驾驶数据资产化的源头。采集阶段决定了数据的物理上限:如果某个场景没有被采到,后续标注、训练、仿真都无法凭空补出真实分布。因此,采集工程不是“开车录数据”,而是一套围绕传感器同步、场景覆盖、规范约束和工具链协同的系统工程。
一、核心原理:多传感器融合采集
自动驾驶车辆通常搭载摄像头、激光雷达、毫米波雷达、IMU、GNSS/RTK 等传感器。融合采集的核心是让不同模态的数据在时间、空间、语义三个维度对齐,形成可回溯、可复现的数据包。
- 时间同步:以 PTP 或 GPS 秒脉冲为基准,将各传感器时间戳统一到同一时钟域,典型要求为微秒级对齐。
- 空间标定:记录相机内参、外参、雷达安装位姿,确保点云与图像像素可投影对应。
- 数据封装:按帧组织,每帧包含多传感器原始数据、时间戳、标定参数和车辆状态。
融合采集的目标不是“采得多”,而是“采得齐、对得准、查得到”。一帧数据若缺少时间戳或标定文件,其资产价值会大幅下降。
二、场景覆盖策略:从长尾到闭环
场景覆盖策略决定采集的“广度”和“深度”。常用方法包括 ODD 分解、场景矩阵、长尾挖掘和闭环补采。
| 覆盖维度 | 典型要素 | 采集策略 |
|---|---|---|
| 道路结构 | 高速、城区、隧道、匝道、环岛 | 按 ODD 分区,逐区覆盖 |
| 交通参与者 | 行人、非机动车、异形车、动物 | 重点区域高频采集 |
| 环境条件 | 白天、夜间、雨、雪、雾、逆光 | 按天气窗口排班 |
| 行为交互 | 加塞、鬼探头、施工绕行 | 触发式采集 + 回灌补采 |
| 长尾场景 | 事故、遗撒、临时管制 | 影子模式 + 人工上报 |
场景覆盖不是一次性任务,而是“采集—训练—评测—发现缺口—补采”的闭环。只有把评测中暴露的失败场景反哺到采集计划,数据资产才会持续增值。
三、采集规范:让数据可复用
采集规范是数据资产化的“合同”。没有规范,不同车辆、不同批次的数据无法合并使用。规范通常包括:
- 命名规范:车号、日期、路段、场景标签统一编码。
- 目录结构:原始数据、标定文件、车辆状态、采集日志分目录存放。
- 质量门禁:丢帧率、时间同步误差、曝光异常、点云缺失等阈值检查。
- 元数据:天气、光照、道路类型、采集员、传感器版本必须随包记录。
dataset/
vehicle_id: VH-021
date: 2025-03-18
route: city_ring_west
sensors:
camera_front: 30fps, 1920x1080
lidar_top: 10Hz, 128线
radar_front: 20Hz
sync_error_ms: 0.8
scene_tags: [night, rain, construction]
quality: PASS
规范的价值在于“机器可读”。元数据字段应尽量结构化,避免自由文本,否则后续检索和筛选成本极高。
四、工具链:采集、监控与回传
采集工具链覆盖车上和车下两端。车上负责稳定录制、实时监控和异常告警;车下负责数据回传、解包、质检和入库。
- 采集软件:多进程录制,支持传感器热插拔和断点续录。
- 监控面板:实时显示帧率、同步误差、磁盘余量、温度。
- 回传链路:优先回传高价值片段,支持断点续传和压缩。
- 质检工具:自动检查丢帧、时间戳跳变、标定缺失。
五、案例与误区复盘
案例:某项目在城区采集时发现夜间逆光场景识别率低。复盘发现,采集计划中夜间时段集中在 20:00—22:00,缺少清晨和黄昏的低角度光照。补采后,模型在该场景的召回率提升明显。
常见误区:
- 只追求里程数,不记录场景标签,导致数据无法按需检索。
- 忽略标定文件版本,传感器更换后旧数据无法复用。
- 回传不做优先级,高价值片段被低价值数据淹没。
- 质检只在车下做,车上异常未实时告警,整段数据报废。
采集阶段最大的浪费不是“采少了”,而是“采了但不可用”。时间戳缺失、标定错配、元数据不全,都会让数据从资产变成负担。
综上,多传感器融合采集解决“采得准”,场景覆盖策略解决“采得全”,采集规范解决“可复用”,工具链解决“效率与质量”。四者协同,才能为后续标注、训练和仿真提供高质量的数据资产底座。