2. 驾驶场景与传感器基础
端到端驾驶系统的不确定性估计，首先取决于输入数据的质量与物理边界。摄像头、激光雷达、毫米波雷达三类主流传感器在测距原理、分辨率、环境鲁棒性和成本上差异显著，理解它们的特性是设计多模态融合与安全约束的前提。本章从传感器物理特性出发，梳理多模态数据融合的基本流程，并结合典型驾驶场景与公开数据集，建立后续不确定性建模所需的输入认知。
一、三类主流传感器的物理特性
摄像头以二维成像方式获取稠密纹理与颜色信息，语义理解能力强，能识别车道线、交通标志、行人意图等，但缺乏直接深度，测距依赖几何标定与视差估计，且对逆光、夜间、雨雾敏感。激光雷达通过飞行时间（ToF）测量获得高精度三维点云，测距误差通常在厘米级，角分辨率高，可直接构建空间几何结构，但在雨雪、浓雾中回波衰减明显，且成本与机械旋转部件的可靠性曾是量产瓶颈。毫米波雷达利用多普勒效应同时测距与测速，穿透雨雾能力强，在恶劣天气下仍能稳定输出目标距离与相对速度，但角分辨率低、点云稀疏，对静止目标与金属杂波易产生虚警。
三者的互补性决定了融合的必要性：摄像头提供语义，激光雷达提供几何，毫米波雷达提供全天候速度与距离。下表对比了关键参数维度。
| 维度 | 摄像头 | 激光雷达 | 毫米波雷达 |
|---|---|---|---|
| 测距原理 | 视差/单目几何 | 飞行时间 ToF | FMCW 多普勒 |
| 距离精度 | 中（依赖标定） | 高（cm 级） | 中（m 级） |
| 速度测量 | 间接估计 | 需多帧关联 | 直接输出 |
| 角分辨率 | 高 | 高 | 低 |
| 恶劣天气 | 差 | 中 | 强 |
| 语义能力 | 强 | 弱 | 弱 |
二、多模态数据融合的基本流程
融合的核心挑战在于时空对齐与表征统一。时间上需通过硬件同步或软件时间戳插值，将不同频率的传感器数据对齐到同一时刻；空间上需通过外参标定将各传感器坐标系统一到车辆坐标系。融合层级通常分为前融合、特征级融合与后融合：前融合在原始数据层拼接，信息损失小但对标定精度要求极高；特征级融合在 BEV（鸟瞰图）空间或 Transformer 查询空间对齐特征，是当前主流方案；后融合对各传感器独立检测结果做关联与滤波，工程落地成熟但难以处理跨模态互补信息。
以下伪代码展示了基于时间戳对齐与 BEV 投影的融合主干逻辑：
for each frame t:
cam_ts, lidar_ts, radar_ts = sync(t)
cam_feat = backbone_cam(cam_img[cam_ts])
lidar_feat = voxelnet(lidar_pc[lidar_ts])
radar_feat = pointpillar(radar_pc[radar_ts])
# 统一到车辆坐标系
cam_bev = project_to_bev(cam_feat, T_cam2ego)
lidar_bev = project_to_bev(lidar_feat, T_lidar2ego)
radar_bev = project_to_bev(radar_feat, T_radar2ego)
# 跨模态注意力融合
fused = cross_attention(cam_bev, lidar_bev, radar_bev)
detections = detection_head(fused)
三、典型驾驶场景与数据集
不同场景对传感器的依赖程度不同。高速公路场景以毫米波雷达与摄像头为主，关注远距离目标与速度估计；城市道路场景需要激光雷达提供精细几何以应对密集行人与非机动车；夜间与雨雾场景则更依赖毫米波雷达的鲁棒性。隧道出入口的剧烈光照变化、地下车库的 GPS 拒止、施工路段的非结构化障碍，都是融合系统容易失效的边界场景。
公开数据集为算法验证提供了基准。KITTI 以激光雷达与双目摄像头为主，适合几何与检测任务；nuScenes 提供六摄像头、一激光雷达、五毫米波雷达的全套配置，并包含丰富的场景标注与不确定性相关挑战；Waymo Open Dataset 以高分辨率激光雷达与多摄像头著称，场景覆盖复杂城市交互。使用数据集时需注意传感器配置、标定参数与标注粒度的差异，避免跨数据集直接迁移导致的不确定性估计偏差。
四、常见误区与复盘要点
此外，标定误差常被低估。外参的微小偏差在远距离目标上会被放大为显著的空间错位，导致 BEV 特征无法对齐。工程中应定期在线标定校验，并将标定残差纳入不确定性预算。数据集使用方面，需关注标注延迟与传感器时间戳的对应关系，避免因时间不同步引入虚假的运动不确定性。
综上，传感器特性决定了不确定性的物理下限，融合流程决定了误差的传播路径，场景与数据集则提供了验证边界。只有把这三者作为整体来理解，后续的不确定性建模与安全约束设计才有可靠的输入基础。