3. 传感器与数据采集

在3D Occupancy空间感知系统中,传感器与数据采集环节决定了后续感知能力的上限。Occupancy任务要求网络不仅识别目标类别,还要判断三维空间中每个体素是否被占据,因此对传感器的空间覆盖、深度精度、时间一致性和外参准确性提出了远高于二维检测的要求。本节围绕激光雷达、深度相机、多目视觉、IMU四类核心传感器,梳理其数据特性、标定方法与同步机制,并给出工程落地中的关键参数与常见问题。

一、四类传感器的数据特性与互补关系

激光雷达通过飞行时间测距直接获得高精度三维点云,在150米范围内测距误差通常在±2厘米量级,对光照不敏感,是Occupancy真值生成和远距离几何感知的主力。但其垂直分辨率受线束限制,机械式64线雷达垂直角分辨率约0.4°,近处地面点稀疏,且对玻璃、镜面等低反射率材质存在丢点。

深度相机(结构光或ToF)可输出稠密深度图,单帧即可获得百万级像素的深度,适合近场(0.3~5米)精细占据判断,但受环境光干扰大,室外强光下ToF信噪比急剧下降,且深度图边缘存在飞点。

多目视觉通过视差三角测量恢复深度,成本低、分辨率高,纹理丰富区域深度稠密,但弱纹理、重复纹理区域易产生匹配歧义,且深度精度随距离平方衰减。IMU提供高频(100~1000Hz)角速度和加速度,短期积分可补足视觉和雷达帧间运动,但存在零偏漂移,不能单独用于长时间位姿估计。

核心结论:激光雷达提供远距离稀疏精确几何,深度相机提供近场稠密深度,多目视觉提供低成本稠密纹理深度,IMU提供高频运动先验。四者融合才能在Occupancy任务中同时满足距离、密度、频率和鲁棒性要求。

二、标定方法:内参、外参与时间标定

标定是数据采集质量的第一道关口,分为内参标定、外参标定和时间标定三类。内参标定解决单传感器自身模型参数:相机标定焦距、主点、畸变系数;激光雷达标定每束激光的垂直角与水平角修正;IMU标定零偏、尺度因子和轴间非正交误差。

外参标定确定传感器之间的刚体变换。相机-激光雷达外参常用棋盘格或AprilTag标定板,通过提取标定板在相机图像中的角点和在点云中的平面,求解旋转平移。相机-IMU外参可用Kalibr工具,通过激励充分的多轴运动联合优化。多相机外参则通过共视标定板或特征点匹配求解。

时间标定常被忽视却极为关键。不同传感器硬件时间戳来源不同,需估计并补偿固定时延。常用方法是在高动态运动下采集数据,通过最小化重投影误差或点云配准误差搜索最优时延。

# 使用Kalibr进行相机-IMU联合标定示例
kalibr_calibrate_imu_camera \
  --bag calib.bag \
  --cam camchain.yaml \
  --imu imu.yaml \
  --target april_6x6.yaml \
  --time-calibration

三、数据同步机制:硬同步与软同步

Occupancy建图要求多传感器数据在时间上对齐到同一时刻。硬同步通过硬件触发信号统一曝光和采集时刻,例如用FPGA输出PPS脉冲同时触发相机曝光和激光雷达扫描起始,同步精度可达微秒级。软同步则依赖时间戳对齐,将各传感器数据按时间戳插值或最近邻匹配到统一时间轴。

工程中常采用“硬同步为主、软同步兜底”的策略:相机与激光雷达用硬件触发对齐,IMU以高频数据对低频传感器做运动补偿。对于激光雷达运动畸变,需用IMU或轮速计做去畸变处理,将一帧内不同时刻的点统一到帧起始时刻坐标系。

多传感器数据采集与同步链路 激光雷达 10Hz / 点云 深度相机 30Hz / 深度图 多目视觉 20Hz / 双目图像 IMU 200Hz / 角速度+加速度 硬件触发同步(PPS脉冲 / FPGA触发) 时间戳对齐与运动补偿 IMU高频插值 → 激光雷达去畸变 → 统一到同一时刻坐标系 内参标定 焦距/畸变/零偏 外参标定 相机-雷达/相机-IMU变换 时间标定 固定时延估计与补偿 同步后的多模态数据 → Occupancy网络输入

四、工程案例:城市道路Occupancy采集配置

某L4级城市道路Occupancy项目采用如下传感器配置:顶部1台128线机械激光雷达(10Hz,垂直分辨率0.1°),车头2台固态激光雷达补盲,前向1台ToF深度相机(30Hz,0.3~8米),环视4目相机(20Hz),IMU(200Hz)。所有传感器由同一FPGA触发板提供PPS同步信号。

传感器 频率 有效距离 主要作用 标定重点
128线激光雷达 10Hz 150m 远距离几何与真值 外参+时间延迟
固态激光雷达 20Hz 30m 近场盲区补盲 与主雷达外参
ToF深度相机 30Hz 0.3~8m 近场稠密占据 内参+飞点滤波
4目环视相机 20Hz 0.5~50m 纹理与语义 多相机外参
IMU 200Hz — 运动补偿与位姿 零偏+时间对齐

五、常见误区与复盘要点

误区一:只做外参标定,忽略时间标定。即使外参精确到0.1°,若相机与雷达存在20ms时延,在10m/s车速下会产生0.2m的位置偏差,直接导致Occupancy体素错位。
复盘要点:每次数据采集前检查三项——标定板验证外参残差是否小于阈值、PPS触发信号是否正常、IMU零偏是否在允许范围内。采集后抽查一帧点云与图像投影对齐效果,确认无系统性偏移。

数据同步的最终目标是让每一帧Occupancy输入都对应同一物理时刻的三维场景。工程上建议将同步误差控制在传感器最高频率周期的1/4以内,例如IMU为200Hz时,同步误差应小于1.25ms。只有标定与同步都达标,后续的Occupancy网络才能学到正确的空间占据关系,而不是被传感器错位引入的伪影所干扰。