3. 传感器与数据采集
在3D Occupancy空间感知系统中,传感器与数据采集环节决定了后续感知能力的上限。Occupancy任务要求网络不仅识别目标类别,还要判断三维空间中每个体素是否被占据,因此对传感器的空间覆盖、深度精度、时间一致性和外参准确性提出了远高于二维检测的要求。本节围绕激光雷达、深度相机、多目视觉、IMU四类核心传感器,梳理其数据特性、标定方法与同步机制,并给出工程落地中的关键参数与常见问题。
一、四类传感器的数据特性与互补关系
激光雷达通过飞行时间测距直接获得高精度三维点云,在150米范围内测距误差通常在±2厘米量级,对光照不敏感,是Occupancy真值生成和远距离几何感知的主力。但其垂直分辨率受线束限制,机械式64线雷达垂直角分辨率约0.4°,近处地面点稀疏,且对玻璃、镜面等低反射率材质存在丢点。
深度相机(结构光或ToF)可输出稠密深度图,单帧即可获得百万级像素的深度,适合近场(0.3~5米)精细占据判断,但受环境光干扰大,室外强光下ToF信噪比急剧下降,且深度图边缘存在飞点。
多目视觉通过视差三角测量恢复深度,成本低、分辨率高,纹理丰富区域深度稠密,但弱纹理、重复纹理区域易产生匹配歧义,且深度精度随距离平方衰减。IMU提供高频(100~1000Hz)角速度和加速度,短期积分可补足视觉和雷达帧间运动,但存在零偏漂移,不能单独用于长时间位姿估计。
二、标定方法:内参、外参与时间标定
标定是数据采集质量的第一道关口,分为内参标定、外参标定和时间标定三类。内参标定解决单传感器自身模型参数:相机标定焦距、主点、畸变系数;激光雷达标定每束激光的垂直角与水平角修正;IMU标定零偏、尺度因子和轴间非正交误差。
外参标定确定传感器之间的刚体变换。相机-激光雷达外参常用棋盘格或AprilTag标定板,通过提取标定板在相机图像中的角点和在点云中的平面,求解旋转平移。相机-IMU外参可用Kalibr工具,通过激励充分的多轴运动联合优化。多相机外参则通过共视标定板或特征点匹配求解。
时间标定常被忽视却极为关键。不同传感器硬件时间戳来源不同,需估计并补偿固定时延。常用方法是在高动态运动下采集数据,通过最小化重投影误差或点云配准误差搜索最优时延。
# 使用Kalibr进行相机-IMU联合标定示例
kalibr_calibrate_imu_camera \
--bag calib.bag \
--cam camchain.yaml \
--imu imu.yaml \
--target april_6x6.yaml \
--time-calibration
三、数据同步机制:硬同步与软同步
Occupancy建图要求多传感器数据在时间上对齐到同一时刻。硬同步通过硬件触发信号统一曝光和采集时刻,例如用FPGA输出PPS脉冲同时触发相机曝光和激光雷达扫描起始,同步精度可达微秒级。软同步则依赖时间戳对齐,将各传感器数据按时间戳插值或最近邻匹配到统一时间轴。
工程中常采用“硬同步为主、软同步兜底”的策略:相机与激光雷达用硬件触发对齐,IMU以高频数据对低频传感器做运动补偿。对于激光雷达运动畸变,需用IMU或轮速计做去畸变处理,将一帧内不同时刻的点统一到帧起始时刻坐标系。
四、工程案例:城市道路Occupancy采集配置
某L4级城市道路Occupancy项目采用如下传感器配置:顶部1台128线机械激光雷达(10Hz,垂直分辨率0.1°),车头2台固态激光雷达补盲,前向1台ToF深度相机(30Hz,0.3~8米),环视4目相机(20Hz),IMU(200Hz)。所有传感器由同一FPGA触发板提供PPS同步信号。
| 传感器 | 频率 | 有效距离 | 主要作用 | 标定重点 |
|---|---|---|---|---|
| 128线激光雷达 | 10Hz | 150m | 远距离几何与真值 | 外参+时间延迟 |
| 固态激光雷达 | 20Hz | 30m | 近场盲区补盲 | 与主雷达外参 |
| ToF深度相机 | 30Hz | 0.3~8m | 近场稠密占据 | 内参+飞点滤波 |
| 4目环视相机 | 20Hz | 0.5~50m | 纹理与语义 | 多相机外参 |
| IMU | 200Hz | — | 运动补偿与位姿 | 零偏+时间对齐 |
五、常见误区与复盘要点
数据同步的最终目标是让每一帧Occupancy输入都对应同一物理时刻的三维场景。工程上建议将同步误差控制在传感器最高频率周期的1/4以内,例如IMU为200Hz时,同步误差应小于1.25ms。只有标定与同步都达标,后续的Occupancy网络才能学到正确的空间占据关系,而不是被传感器错位引入的伪影所干扰。