📚 课程目录第2章自动驾驶感知数据基础

2. 自动驾驶感知数据基础

自动标注与预标注平台的上游输入，是不同物理原理的传感器采集到的异构数据。理解每种传感器的数据形态、坐标系、误差来源与标注语义，是设计标注任务、质检规则和预标注模型接口的前提。本节从“数据特点—标注对象—标注难点”三个维度，梳理摄像头、激光雷达、毫米波雷达以及多传感器融合数据的核心差异。

一、核心原理：四种数据形态的物理来源

摄像头通过光学成像把三维世界投影到二维像素平面，输出稠密纹理与颜色信息，但丢失深度，且受曝光、逆光、雨雾影响明显。激光雷达通过发射激光脉冲并测量飞行时间，直接获得高精度三维点云，具备厘米级测距与精确空间结构，但点云稀疏、随距离衰减，且对雨雪、镜面反射敏感。毫米波雷达利用毫米波回波的多普勒效应与距离/角度测量，输出稀疏的检测点或目标级轨迹，具备全天候、远距离、直接测速的优势，但角分辨率低、点云语义弱。多传感器融合数据则是在时间同步与空间标定基础上，把上述模态对齐到统一坐标系，形成“图像—点云—雷达目标”的联合表达。

二、方法流程：从原始数据到可标注样本

标注平台接收的原始数据通常以“数据包”形式存在，包含各传感器的时间戳、原始帧、标定参数与车辆位姿。要形成可标注样本，需要经过以下步骤：

时间同步：以某一主传感器时钟为基准，将各模态帧对齐到同一时刻，常用硬件触发或软件插值。时间偏差超过阈值会导致融合标注框“错位”。
空间标定：加载相机内参、畸变系数、雷达—相机外参、激光雷达—相机外参，把点云投影到图像平面，或把图像特征反投影到三维空间。
模态对齐与可视化：在标注工具中同时呈现图像、点云和雷达目标，支持联动高亮、跨视图选择，降低标注员理解成本。
任务分发：根据标注对象类型，把任务分发给 2D 框标注、3D 框标注、点云分割、轨迹标注等不同工序，并配置对应的质检规则。

关键参数示例：相机内参矩阵 K、畸变系数 D、激光雷达—相机外参 T_lidar_cam、时间同步容差 Δt。这些参数直接决定投影精度，是预标注模型能否复用的基础。

# 典型标定参数文件结构（YAML 示意）
camera:
  intrinsics: [fx, fy, cx, cy]
  distortion: [k1, k2, p1, p2, k3]
lidar_to_camera:
  rotation: [r11, r12, r13, r21, r22, r23, r31, r32, r33]
  translation: [tx, ty, tz]
time_sync:
  tolerance_ms: 20
  master_clock: lidar

三、案例/场景：城市路口的多模态标注

以城市路口场景为例：摄像头拍到被公交车遮挡的行人，激光雷达点云中该行人仅剩少量点，毫米波雷达则给出一个带速度的目标点。若只依赖单一模态，标注结果会不一致。平台需要：

在图像视图中标注行人 2D 框，并标记“遮挡”属性；
在点云视图中根据可见点与地面约束，推断行人 3D 框中心与朝向；
在雷达视图中关联同一目标的轨迹，补充速度与运动方向；
在融合视图中生成跨模态一致的联合标签，并记录各模态置信度。

这类场景的标注难点在于“可见性推断”与“跨模态一致性”。平台应提供遮挡比例计算、点云可见性提示、雷达轨迹关联建议等辅助功能，减少标注员的主观偏差。

四、误区与复盘：常见标注需求陷阱

误区	表现	复盘建议
用 2D 框规则标注 3D 目标	3D 框尺寸、朝向角缺失或随意填写	明确 3D 框中心、尺寸、朝向角的标注规范与质检阈值
忽略时间同步误差	融合标注框在图像与点云中错位	在平台中显示时间偏差，超阈值样本自动标记待复核
把雷达目标当点云标注	雷达稀疏点被误标为密集点云分割	区分目标级轨迹标注与点云级分割标注的任务类型
融合标注只做简单叠加	各模态标签独立，未生成一致性约束	引入跨模态一致性检查，如投影重叠率、目标 ID 关联

注意：多传感器融合标注不是“把多个模态的标注结果拼在一起”，而是在统一时空基准下生成一致的语义标签。标定误差、时间偏差和模态缺失都会直接传播到标注结果，平台必须在数据入口处做质量检查。

实践建议：在预标注平台中，优先为激光雷达点云和摄像头图像建立稳定的投影关系，再把毫米波雷达目标作为运动属性补充。对于融合标注任务，建议设置“单模态预标注 + 跨模态一致性校验”两阶段流程，既能提升效率，也能控制质量。

掌握四类感知数据的形态差异与标注需求，是后续设计预标注模型、标注任务模板和质检规则的基础。只有把数据特点转化为可执行的标注规范，平台才能真正支撑大规模、高质量的自动驾驶数据生产。