2. 驾驶场景基础
多模态驾驶智能体的感知推理能力，建立在对驾驶场景的准确建模之上。所谓“场景”，并不是简单的图像集合，而是由道路结构、交通参与者、动态环境、传感器配置与驾驶任务共同构成的多层语义系统。理解这五个维度，才能把原始传感器信号转化为智能体可推理的世界状态。
一、核心原理：驾驶场景的五层结构
驾驶场景可以按“静态到动态、几何到语义”的顺序划分为五层。第一层是道路结构，包括车道线、路沿、路口拓扑、曲率与坡度，它决定了车辆可行驶区域与合法轨迹空间。第二层是交通参与者，包括机动车、非机动车、行人、动物及静态障碍物，其位置、速度、朝向与意图构成交互对象集合。第三层是动态环境，涵盖光照、天气、能见度、路面附着系数与交通流密度，直接影响感知置信度与控制策略。第四层是传感器配置，激光雷达、摄像头、毫米波雷达、GNSS/IMU 等提供互补观测，决定感知的覆盖范围与冗余度。第五层是驾驶任务，从车道保持到无保护左转，不同任务对感知精度、推理时延与安全边界的要求差异显著。
这五层并非并列，而是存在明确的依赖关系：道路结构约束参与者运动，动态环境改变传感器观测质量，传感器配置决定感知上限，驾驶任务则反向决定哪些对象与区域需要被优先关注。多模态融合的本质，就是在不同层之间建立一致的世界表征。
二、方法流程：从场景要素到任务分类
工程上通常按以下流程把场景要素转化为可执行的任务定义：
- 道路结构解析：通过高精地图与在线感知提取车道中心线、路口连接关系与可行驶区域，形成拓扑图。
- 参与者检测与跟踪：对多传感器目标进行时空对齐，输出带 ID 的轨迹与运动状态。
- 环境评估：估计光照、雨雾等级与路面附着系数，为感知置信度加权。
- 传感器健康检查：判断各模态是否退化，决定融合权重与降级策略。
- 任务分类与优先级：根据当前道路、参与者与任务目标，选择对应的驾驶任务与安全边界。
其中任务分类是承上启下的关键。常见分类可按“横向—纵向—交互”三个维度展开：横向任务包括车道保持与变道；纵向任务包括定速巡航与跟车；交互任务包括无保护左转、汇入车流与避让行人。不同任务对感知的要求可用下表对比。
| 驾驶任务 | 关键感知对象 | 主要传感器 | 典型难点 |
|---|---|---|---|
| 车道保持 | 车道线、路沿、曲率 | 摄像头、高精地图 | 磨损车道线、强光阴影 |
| 跟车 | 前车距离、相对速度 | 毫米波雷达、激光雷达 | 切入车辆、遮挡 |
| 变道 | 相邻车道车辆、盲区目标 | 激光雷达、毫米波雷达、摄像头 | 盲区漏检、意图误判 |
| 无保护左转 | 对向车流、行人、信号灯 | 多模态融合 | 交互博弈、时延敏感 |
| 泊车 | 车位线、低矮障碍物 | 超声波、环视摄像头 | 近距盲区、光照不足 |
三、案例场景：城市路口无保护左转
以城市十字路口无保护左转为例。道路结构层提供路口拓扑与左转待转区；参与者层包含对向直行车、横向行人及同向非机动车；动态环境层可能是傍晚逆光或小雨；传感器配置层需要激光雷达覆盖对向远距离目标，摄像头识别信号灯与行人意图，毫米波雷达提供速度冗余。驾驶任务层要求智能体在保证安全的前提下寻找可穿越间隙。
场景要素快照（示例）
road: {type: "crossroad", lane: "left_turn_waiting", curvature: 0.02}
participants: [
{id: "veh_01", type: "car", pos: "opposite", speed: 12.5, intent: "straight"},
{id: "ped_03", type: "pedestrian", pos: "crosswalk_left", state: "walking"}
]
environment: {light: "backlight", weather: "light_rain", friction: 0.65}
sensors: {lidar: "ok", camera: "glare_degraded", radar: "ok"}
task: {name: "unprotected_left_turn", priority: "high", safety_margin: 1.8s}
该快照说明：摄像头因逆光退化，融合权重应向激光雷达与毫米波雷达倾斜；行人状态为行走，需纳入交互博弈；安全裕度 1.8 秒用于补偿湿滑路面制动距离。这正是五层结构协同推理的典型体现。
四、误区与复盘
常见误区二：传感器配置越多越好。若标定失准或时间不同步，多模态反而引入冲突观测。
常见误区三：任务分类只看几何。无保护左转的核心是博弈与优先级，而非单纯路径规划。
掌握这五层结构，是后续多模态融合、时序推理与决策规划的共同基础。只有把场景要素显式建模，智能体才能在复杂动态环境中做出可解释、可验证的驾驶行为。