4. 传感器与数据
在NOA（领航辅助驾驶）感知预测规划一体化系统中，传感器与数据层是整个技术栈的“地基”。地基不稳，上层模型再先进也会在真实场景中频繁失效。本节围绕五类核心传感器——摄像头、激光雷达、毫米波雷达、IMU、GNSS，以及贯穿它们的数据同步、标定与时间戳对齐展开，目标是建立“多源异构数据如何变成统一时空基准”的工程认知。
一、五类传感器的角色与互补关系
不同传感器在物理原理、输出形式、频率和适用场景上差异显著，NOA系统依赖它们形成冗余与互补。
- 摄像头：输出2D图像，具备丰富的语义信息，擅长识别车道线、交通标志、红绿灯、车辆类型。缺点是受光照、雨雾影响大，且单目测距精度有限。
- 激光雷达：输出3D点云，直接提供精确的距离和几何结构，擅长障碍物检测与可行驶区域分割。缺点是成本较高，雨雪天气点云噪声增大，且无颜色语义。
- 毫米波雷达：输出距离、速度、角度，对运动目标的速度测量极为敏感，穿透雨雾能力强，是AEB和自适应巡航的关键传感器。缺点是角分辨率较低，静态目标易被过滤。
- IMU：输出三轴加速度与角速度，提供高频姿态和运动信息，用于短时航位推算和运动补偿。缺点是存在零偏和积分漂移。
- GNSS：输出全局位置与速度，提供绝对定位基准。缺点是城市峡谷、隧道等场景信号易丢失或多路径效应严重。
这五类传感器构成“语义+几何+速度+姿态+全局位置”的完整观测体系，任何单一传感器都无法独立支撑NOA的安全运行。
二、数据同步：从“各自为政”到“统一节拍”
多传感器数据同步的核心问题是：不同传感器采样频率不同、触发时刻不同、传输延迟不同。如果直接把各传感器最新一帧拼在一起，运动物体在不同帧中的位置会不一致，导致融合结果出现“重影”或“拖尾”。
工程上通常采用三级同步策略：
- 硬件触发同步：由域控制器或同步盒发出统一触发信号，让摄像头曝光、激光雷达扫描、雷达发射在同一时刻或固定相位差下启动。这是精度最高的方式，同步误差可控制在微秒级。
- PTP/gPTP时间同步：通过以太网精确时间协议，让各传感器内部时钟与主时钟对齐，时间戳精度可达亚微秒级。gPTP在车载以太网中更为常用。
- 软件时间戳对齐：对于无法硬件触发的传感器，在数据包到达时打上接收时间戳，再结合传感器内部时间戳和传输延迟模型进行补偿。
工程提示：时间戳应尽量在传感器端或最靠近传感器的节点注入，避免经过多层交换机后再打时间戳，否则网络抖动会直接污染时间精度。
三、标定：让不同传感器“说同一种语言”
标定解决的是空间基准问题。摄像头看到的是像素坐标，激光雷达看到的是三维点坐标，毫米波雷达看到的是距离-角度-速度，IMU和GNSS有各自的安装坐标系。只有通过标定建立它们之间的变换关系，才能把同一物体在不同传感器中的观测统一到同一坐标系。
| 标定类型 | 标定对象 | 典型方法 | 关键输出 |
|---|---|---|---|
| 内参标定 | 摄像头焦距、主点、畸变系数 | 棋盘格/圆点靶标 | 内参矩阵、畸变向量 |
| 外参标定 | 传感器之间的旋转和平移 | 联合靶标、手眼标定 | 旋转矩阵R、平移向量t |
| 时间标定 | 传感器之间的时间延迟 | 运动激励、互相关分析 | 时间偏移量Δt |
| 在线标定 | 行驶中的外参漂移 | 特征匹配、里程计约束 | 实时修正量 |
外参标定中，相机-激光雷达标定最为关键。常用方法是在场景中放置具有明显几何特征的标定板，同时在图像中提取角点、在点云中提取平面或边缘，通过最小化重投影误差求解变换矩阵。激光雷达-IMU标定则通常借助手眼标定框架，利用不同姿态下的运动约束求解。
四、时间戳对齐：融合前的最后一道关口
时间戳对齐的目标是：对于任意一个融合时刻，找到各传感器在该时刻附近最合适的数据帧，并做运动补偿。常见做法包括：
- 最近邻匹配：选择时间戳最接近的帧，简单但精度有限，适合低速场景。
- 线性插值：对IMU等高频数据在时间轴上插值，得到目标时刻的姿态。
- 运动补偿：利用IMU积分或里程计信息，将不同时刻的点云或图像特征统一到同一时刻的坐标系下。
# 时间戳对齐伪代码示例
target_ts = 1000.000 # 目标融合时刻，单位ms
# 找到各传感器最接近target_ts的帧
cam_frame = find_nearest(cam_buffer, target_ts)
lidar_frame = find_nearest(lidar_buffer, target_ts)
radar_frame = find_nearest(radar_buffer, target_ts)
# 计算各帧与目标时刻的时间差
dt_cam = cam_frame.ts - target_ts
dt_lidar = lidar_frame.ts - target_ts
dt_radar = radar_frame.ts - target_ts
# 利用IMU积分得到各时刻姿态，进行运动补偿
pose_target = imu_integrate(target_ts)
pose_cam = imu_integrate(cam_frame.ts)
pose_lidar = imu_integrate(lidar_frame.ts)
# 将各传感器观测变换到target_ts时刻的坐标系
cam_compensated = transform(cam_frame.data, pose_cam, pose_target)
lidar_compensated = transform(lidar_frame.data, pose_lidar, pose_target)
radar_compensated = transform(radar_frame.data, pose_radar, pose_target)
五、典型误区与复盘
误区一：只做空间标定，忽略时间标定。很多团队花大量精力做外参标定，却对时间延迟不敏感。实际上，当车辆以30m/s行驶时，10ms的时间延迟对应0.3m的空间误差，足以让融合结果出现明显错位。
误区二：认为标定是一次性工作。车辆振动、温度变化、轻微碰撞都会导致外参漂移。量产系统必须支持在线标定和标定异常检测，否则系统性能会随时间缓慢退化。
误区三：所有传感器都用同一套同步策略。摄像头适合硬件触发，毫米波雷达通常自带时间戳，IMU需要高频插值，GNSS需要处理跳变。同步策略必须按传感器特性分别设计。
复盘一个真实案例：某项目在高速场景下出现前方车辆“跳动”现象。排查发现，激光雷达与摄像头的外参标定在俯仰角上有约0.5°偏差，同时激光雷达时间戳比摄像头晚约15ms。单独看每个误差都不大，但两者叠加后，在100m距离上产生了约1.2m的融合位置偏差。修正标定并加入时间补偿后，问题消失。这说明传感器数据层的误差往往不是单点问题，而是空间与时间误差的耦合放大。
总结来说，传感器与数据层的工程核心可以归纳为三句话：选对传感器形成互补，标定建立统一空间基准，同步与时间戳对齐建立统一时间基准。只有这三者都做到位，NOA的感知预测规划一体化模型才能获得干净、一致、可信的输入数据。