2. 自动驾驶感知基础

自动驾驶感知系统要回答三个基本问题：“周围有什么”“它在哪里”“它接下来会怎样”。要回答这些问题，必须先把物理世界通过传感器转化为可计算的数据，再在统一坐标系中表达目标位置，最后用标注和指标把“感知得好不好”变成可度量的工程问题。本节围绕传感器、坐标系、标注形式、任务定义与评价指标五个层面展开，为后续数据集与工具链的使用打下共同语言。

一、传感器类型：不同物理量，互补的“感官”

自动驾驶车辆通常搭载多类传感器，它们测量的物理量不同，因此优势与短板也互补。工程上很少依赖单一传感器，而是通过多传感器融合提升鲁棒性。

• 摄像头（Camera）：输出二维图像，富含颜色、纹理和语义信息，适合识别车道线、交通标志、红绿灯和行人。缺点是缺乏直接深度，受光照、逆光、雨雾影响大。
• 激光雷达（LiDAR）：通过激光飞行时间测距，输出三维点云，测距精度高、空间结构清晰，适合障碍物检测与定位。缺点是成本较高，雨雪天气点云会衰减，且点云稀疏、无序。
• 毫米波雷达（Radar）：利用电磁波多普勒效应，能直接测量目标径向速度，穿透雨雾能力强，适合自适应巡航和盲区监测。缺点是角分辨率较低，点云稀疏，易受金属反射干扰。
• 超声波雷达（Ultrasonic）：短距离测距，主要用于泊车和低速避障，探测范围通常只有几米。
• IMU/GNSS：提供车辆自身的姿态、加速度和绝对位置，是定位与多传感器时间同步的基础。

二、坐标系：把目标放到同一张“地图”上

多传感器数据必须统一到同一坐标系才能融合。自动驾驶中常见的坐标系包括：

• 像素坐标系：图像左上角为原点，单位为像素，描述目标在图像中的位置。
• 相机坐标系：以相机光心为原点，Z 轴沿光轴向前，描述三维空间中的点。
• 激光雷达坐标系：以雷达中心为原点，通常 X 向前、Y 向左、Z 向上。
• 车辆坐标系：以车辆后轴中心或质心为原点，描述目标相对自车的位置。
• 世界坐标系：全局统一坐标，用于高精地图匹配和轨迹规划。

坐标系之间通过外参（旋转矩阵 R 与平移向量 t）进行刚体变换，通过内参（焦距、主点、畸变系数）完成相机投影。一个典型变换可写为：

P_cam = R * P_lidar + t
p_pixel = K * [R|t] * P_world
其中 K 为相机内参矩阵，[R|t] 为外参矩阵

如果外参标定有偏差，融合结果就会出现“重影”或目标位置漂移，因此标定是感知工程中非常关键的一环。

三、数据标注形式：从框到像素再到三维

标注形式决定了模型能学习什么任务。常见标注类型如下表所示：

标注质量直接影响模型上限。常见问题包括漏标、类别混淆、3D 框朝向错误、遮挡目标处理不一致等。工程上通常用标注规范 + 交叉复核 + 一致性抽检来控制质量。

四、常见任务定义与评价指标

感知任务通常分为检测、分割、跟踪、深度估计和车道线检测等。不同任务使用不同指标：

• 目标检测：常用 IoU 判断预测框与真值框是否匹配，指标包括 Precision、Recall、AP、mAP。mAP 是各类别 AP 的平均值，COCO 还引入不同 IoU 阈值下的 AP 平均。
• 语义分割：常用 mIoU（平均交并比）和像素准确率 PA。
• 多目标跟踪：常用 MOTA、IDF1、ID Switch 等，衡量轨迹连续性与身份保持能力。
• 深度估计：常用绝对误差、相对误差和 δ 阈值准确率。
• 车道线检测：常用 IoU、F1 以及基于点的距离误差。

五、案例与场景：一次多传感器感知链路

假设自车在城市道路行驶，前方有一辆被部分遮挡的车辆。摄像头检测到 2D 框，激光雷达在点云中给出 3D 框，毫米波雷达提供该目标的径向速度。系统需要：

1. 将激光雷达点云通过外参投影到相机图像，验证 2D 框与 3D 框是否对齐；
2. 将 3D 框从雷达坐标系变换到车辆坐标系，得到目标相对自车的位置；
3. 结合跟踪 ID 判断该目标是否为同一辆车，并估计其运动状态；
4. 用 mAP、mIoU 等指标评估各模块精度，定位误差来源。

如果 2D 与 3D 框对不齐，优先排查外参标定和时间同步；如果跟踪 ID 频繁跳变，则检查检测漏检与数据关联逻辑。

六、误区与复盘

• 误区一：只看 mAP 就认为感知系统可用。mAP 高不代表漏检少，安全场景更关注 Recall 和漏检率。
• 误区二：忽略坐标系与标定误差。融合效果差往往不是模型问题，而是外参或时间戳不同步。
• 误区三：标注规范不统一。不同标注员对遮挡、截断、朝向的理解不一致，会引入系统性噪声。
• 误区四：指标与业务目标脱节。泊车场景更关注近距离精度，高速场景更关注远距离召回。