2. 传感器基础

多传感器联合标注的第一步，不是打开标注工具，而是理解每种传感器“看到的世界”是什么样子。摄像头输出的是二维像素阵列，激光雷达输出的是三维点云，毫米波雷达输出的是稀疏的距离-速度-角度回波，IMU输出的是高频惯性测量序列，GPS输出的是低频全局位置。它们的数据维度、采样频率、坐标系、误差模型和语义表达能力完全不同，因此标注需求也截然不同。如果标注员用“画框”的思维去处理点云，或用“点云分割”的思维去处理图像，联合标注就会在源头产生系统性偏差。

一、核心原理：五类传感器的数据特性

摄像头以透视投影方式将三维场景压缩为二维图像，保留丰富的纹理、颜色和语义信息，但丢失深度，且受光照、曝光、运动模糊影响。激光雷达通过飞行时间测距生成三维点云，每个点包含x、y、z和反射强度，空间精度高、不受光照影响，但点云稀疏、无序，且对雨雾和反光材质敏感。毫米波雷达利用多普勒效应测量径向速度，穿透性强、测速准，但角分辨率低、点云极稀疏，常以“目标级”而非“点级”输出。IMU测量三轴加速度和角速度，频率可达100Hz以上，短期精度高但存在零偏和积分漂移。GPS提供全局经纬度和高程，频率通常为1~10Hz，绝对位置不漂移但易受遮挡和多径影响。

二、方法流程：从数据特性到标注规范

联合标注的流程可以概括为“对齐—标定—标注—关联—质检”五步。第一步是时间对齐，以IMU或GPS的PPS脉冲为基准，将各传感器时间戳统一到同一时钟域，通常要求对齐误差小于10ms。第二步是空间标定，通过外参矩阵将激光雷达点云投影到图像平面，或将图像像素反投影到三维空间，验证标定精度。第三步是分模态标注：图像标注2D框、多边形或关键点；点云标注3D框、语义分割或地面；雷达标注目标级轨迹和速度；IMU和GPS标注运动状态与全局轨迹。第四步是跨模态关联，为同一物理目标分配统一ID，建立“图像框—点云簇—雷达轨迹—GPS位置”的映射关系。第五步是质检，检查时间戳、外参、ID一致性和标注边界。

# 典型多传感器数据帧结构（简化）
frame:
  timestamp_ns: 1712345678901234567
  camera:
    image_path: "cam_front/1712345678901234567.jpg"
    intrinsics: [fx, fy, cx, cy]
  lidar:
    pointcloud_path: "lidar_top/1712345678901234567.pcd"
    points: 120000
  radar:
    objects: [{id: 12, range: 45.2, velocity: -3.1, azimuth: 2.3}]
  imu:
    accel: [0.02, -0.01, 9.81]
    gyro: [0.001, 0.002, -0.001]
  gps:
    lat: 31.2304, lon: 121.4737, alt: 12.5
  calibration:
    T_lidar_to_camera: [[...], [...], [...], [...]]

三、案例/场景：城市路口联合标注

假设一个城市路口场景，摄像头拍到一辆白色轿车，激光雷达在对应位置生成一个约200个点的簇，毫米波雷达输出该车径向速度-8m/s，IMU记录自车轻微左转，GPS记录自车位于路口东侧。标注员需要完成：在图像中绘制轿车2D框并标注“car”；在点云中绘制3D框并标注“car”，同时确认框内点云簇与图像框投影重叠；在雷达数据中关联该车轨迹并标注速度方向；在IMU数据中标注自车转向状态；在GPS中标注自车全局位置。最终，这五个模态的标注结果通过统一目标ID关联，形成一条完整的训练样本。

四、误区/复盘：常见标注陷阱

理解五类传感器的数据特性与标注需求，是构建高质量多传感器训练数据集的基石。摄像头提供语义，激光雷达提供几何，毫米波雷达提供速度，IMU提供运动基准，GPS提供全局参考。只有分别尊重每种传感器的物理特性，并在联合标注中建立严格的时间、空间和语义关联，才能让多模态数据真正产生“1+1>2”的训练价值。