📚 课程目录第3章传感器与数据

3. 传感器与数据

BEV时序融合与3D跟踪的第一步，不是搭网络，而是把不同物理原理、不同频率、不同坐标系的传感器数据整理成“同一时刻、同一空间”的统一表达。多相机、激光雷达和毫米波雷达各有优势，也各有工程约束；只有先理解它们的数据特点，才能设计出可靠的时间同步与空间标定链路。

一、三类传感器的数据特点

多相机提供高分辨率纹理与语义信息，适合识别车道线、交通标志、车辆类型和行人姿态。但单目相机缺乏绝对深度，测距精度随距离下降，且受光照、雨雾和逆光影响明显。环视多相机通过重叠视场拼接，可在BEV空间形成较稠密的视觉特征，但对标定误差非常敏感。

激光雷达输出三维点云，具有厘米级测距精度和直接几何结构，能稳定描述障碍物轮廓、地面起伏和可行驶区域。其缺点是点云稀疏且随距离衰减，雨雪雾天性能下降，同时高线束雷达成本与数据量较大。在BEV融合中，激光雷达常作为空间几何的“锚点”。

毫米波雷达利用多普勒效应直接测量径向速度，对运动目标敏感，探测距离远，且在全天候条件下较稳定。但它角度分辨率较低，点云稀疏，易产生多径和杂波，静止目标与金属护栏常带来虚警。因此雷达更适合提供速度先验和远距目标线索，而非独立完成精细几何重建。

核心结论：相机补语义，激光雷达补几何，毫米波雷达补速度与全天候感知。BEV时序融合的本质，是把三者的互补信息在统一时空基准下对齐。

二、时间同步：从硬触发到软对齐

时间同步的目标是让不同传感器采集的数据对应同一物理时刻。工程上通常分三层：硬件同步、时间戳对齐和运动补偿。

硬件同步：使用PPS秒脉冲和GPRMC时间报文，让相机曝光、激光雷达扫描和雷达采样共享同一时钟源。相机常采用外触发曝光，激光雷达通过PTP或PPS对齐扫描起始时刻。
时间戳对齐：每个传感器数据包携带采集时间戳，融合前按时间戳插值或最近邻匹配。相机帧率通常为10~30Hz，激光雷达为10~20Hz，毫米波雷达为20~50Hz，频率差异必须处理。
运动补偿：若无法完全同步，可利用IMU和轮速计估计自车运动，将不同时刻的点云或图像投影到统一参考时刻，减少运动畸变。

实际系统中，时间同步误差应控制在毫秒级。对于高速场景，10ms的时间偏差在30m/s车速下对应约0.3m的空间位移，足以影响目标关联和跟踪稳定性。

# 典型时间同步配置示例
sensor:
  camera:
    fps: 20
    trigger: external
    timestamp_source: pps_gprmc
  lidar:
    rate: 10
    sync: ptp
    timestamp_source: ptp_master
  radar:
    rate: 30
    sync: can_trigger
    timestamp_source: can_fd
fusion:
  reference_clock: ptp_master
  max_time_diff_ms: 5
  motion_compensation: imu_wheel

三、空间标定：外参、内参与坐标系链路

空间标定解决“不同传感器看到的同一点在空间中是否重合”的问题。它包含内参标定和外参标定两部分。相机内参描述焦距、主点和畸变；外参描述传感器之间的旋转和平移关系。最终所有数据都要变换到统一坐标系，通常是自车后轴中心或IMU中心。

标定流程一般包括：

相机内参标定：使用棋盘格或圆点靶标，求解焦距、主点和畸变系数。
相机-激光雷达外参标定：通过共同可见的标定板、角点或自然场景特征，优化旋转和平移矩阵。
激光雷达-雷达外参标定：利用雷达反射点与激光点云的几何对应关系，或通过车辆运动估计相对位姿。
在线标定与补偿：车辆行驶中因振动、温度或装配误差导致外参漂移，需通过路面、车道线或目标运动进行在线修正。

工程提示：外参标定不是一次性的。量产车在颠簸、碰撞、维修后都可能出现外参变化，建议在BEV融合前加入在线标定质量监控，当重投影误差超过阈值时触发告警或重新标定。

四、融合前的数据组织与质量检查

完成时间同步和空间标定后，数据还需经过质量检查才能进入BEV融合。常见检查项包括：时间戳是否单调递增、点云是否为空、图像是否过曝或欠曝、雷达是否出现大量静止杂波、外参重投影误差是否在允许范围内。

检查项	典型阈值	异常处理
时间戳偏差	< 5ms	丢弃或插值补偿
相机重投影误差	< 2像素	触发在线标定
激光雷达点云数量	> 5000点/帧	检查遮挡或故障
雷达静止杂波比例	< 30%	调整滤波阈值
外参平移漂移	< 0.05m	重新标定

五、案例：城市路口的多传感器对齐

假设自车以36km/h通过城市路口，相机20Hz、激光雷达10Hz、雷达30Hz。某一时刻，相机在t=100ms曝光，激光雷达扫描中心在t=105ms，雷达最近一帧在t=98ms。若直接融合，三者空间位置存在偏差。工程做法是：以PTP主时钟为基准，将雷达点按IMU运动补偿到t=100ms，将激光雷达点云按扫描时间逐点补偿到t=100ms，再统一变换到自车坐标系。这样，同一辆车的视觉框、激光点簇和雷达速度点才能落在同一BEV网格中。

常见误区：只做离线标定，不做在线校验；只对齐帧号，不对齐真实时间戳；忽略运动补偿，导致高速场景下目标“拖影”或关联失败。这些问题在BEV时序融合中会被放大，直接表现为跟踪ID跳变和轨迹抖动。

六、复盘：标定与同步的工程检查清单

是否所有传感器共享同一时钟源，并记录硬件同步状态？
时间戳是否来自采集时刻，而非数据包接收时刻？
外参是否包含相机畸变、激光雷达安装角和雷达安装角？
是否定期评估重投影误差和点云配准误差？
是否在融合前执行数据质量检查，并记录异常帧？
是否对高速、颠簸、温度变化场景做过在线标定验证？

只有把时间同步和空间标定做扎实，BEV时序融合才能获得稳定的输入。否则，再复杂的网络也无法弥补“同一目标在不同传感器中不在同一位置”的根本问题。