2. 交通交互基础
多智能体强化学习要在交通场景中有效工作,前提是智能体能够“理解”交通系统本身。交通不是简单的车辆集合,而是由交通流规律、车辆物理约束、道路拓扑结构和交互行为共同构成的动态系统。本章从四个基础维度建立交通交互的认知框架,为后续的决策建模与奖励设计提供依据。
一、交通流理论:从宏观到微观的连续谱
交通流理论描述车流在时间与空间上的分布规律。宏观层面关注流量 q、密度 k、速度 v 三者的基本关系:q = k · v。这一关系看似简单,却揭示了交通拥堵的本质——当密度超过临界值,速度下降的幅度快于密度增长,流量反而降低,形成拥堵区。
微观层面则关注车辆跟驰与换道行为。经典的跟驰模型如IDM(智能驾驶员模型)通过期望速度、安全车距和反应时间描述后车对前车的响应;换道模型则涉及间隙接受判断与车道效用评估。对多智能体系统而言,宏观规律提供了全局约束,微观模型提供了局部交互规则,二者共同构成智能体策略学习的“环境物理”。
核心参数关系:自由流速度 v_f、阻塞密度 k_j、临界速度 v_c 与临界密度 k_c 决定了基本图(Fundamental Diagram)的形状。智能体的加速、减速与换道决策必须在该基本图约束下进行,否则会产生不现实的交通行为。
二、车辆运动学与动力学:智能体的物理边界
运动学描述车辆位置、速度、加速度与航向角之间的几何关系,不考虑力的来源;动力学则进一步引入质量、轮胎力、风阻和路面附着等物理因素。在强化学习中,运动学模型常用于状态转移的简化,而动力学模型用于高保真仿真与安全边界验证。
常用的运动学模型包括自行车模型和点质量模型。自行车模型以轴距 L、前轮转角 δ 和速度 v 描述车辆位姿变化:
ẋ = v · cos(θ)
ẏ = v · sin(θ)
θ̇ = v / L · tan(δ)
动力学约束则体现为最大加速度、最大减速度、轮胎侧偏特性和执行器延迟。多智能体强化学习若忽略这些约束,策略可能在仿真中表现优异,却在真实车辆上无法执行。因此,动作空间设计必须与车辆物理边界对齐。
三、道路网络建模:拓扑、车道与连接关系
道路网络建模将现实道路抽象为可计算的图结构。节点表示交叉口、匝道口或路段端点,边表示路段,边上附加车道数、限速、曲率和通行方向等属性。对于多智能体交互,还需要显式建模车道级连接关系,包括直行、左转、右转和掉头等转向路径。
常见的建模方式包括有向图、车道连接图和栅格化表示。有向图适合路径规划与宏观交通分配;车道连接图适合微观交互与冲突点分析;栅格化表示则便于与深度强化学习的卷积网络结合。选择何种表示,取决于智能体的观测空间与动作空间设计。
四、交互行为分类与安全指标
交通交互行为可按交互对象和交互意图分类。按对象可分为车-车交互、车-人交互和车-路交互;按意图可分为跟驰、换道、汇入、交叉口通行和避让。不同交互类型对应不同的冲突模式与风险等级。
安全指标用于量化交互风险,常见的有TTC(碰撞时间)、PET(后侵入时间)、DRAC(避免碰撞减速度)和SSAM(替代安全评估模型)。这些指标既是评价智能体策略安全性的依据,也可作为强化学习奖励函数的组成部分。
| 指标 | 含义 | 适用场景 | 风险阈值示例 |
|---|---|---|---|
| TTC | 两车保持当前速度到碰撞的时间 | 跟驰、交叉口 | < 1.5 s 高风险 |
| PET | 两车先后到达同一冲突点的时间差 | 交叉口、汇入 | < 1.0 s 高风险 |
| DRAC | 避免碰撞所需减速度 | 紧急制动场景 | > 3.0 m/s² 高风险 |
| SSAM | 基于冲突点的替代安全评估 | 宏观安全分析 | 冲突次数与严重度 |
五、案例场景:交叉口多车交互
考虑一个四车道交叉口,四辆智能车分别从不同方向接近。每辆车需要根据交通流密度判断是否减速、根据运动学约束计算可行轨迹、根据道路网络确定转向路径、并根据TTC与PET评估冲突风险。若两车同时进入冲突点且PET小于1秒,则触发高风险状态,智能体应选择让行或制动。
在该场景中,交通流理论提供到达率与排队长度预测,运动学提供制动距离约束,道路网络提供冲突点位置,安全指标提供奖励信号。四者缺一不可。
实践提示:在构建多智能体交通仿真时,建议先固定道路网络与车辆动力学参数,再调整交通流输入与安全指标阈值。这样可以分离“环境物理”与“策略学习”的变量,便于定位问题。
六、常见误区与复盘
- 误区一:只关注宏观流量,忽略微观交互。宏观模型无法刻画换道博弈与交叉口冲突,导致智能体策略缺乏交互性。
- 误区二:动作空间超出车辆物理边界。例如允许瞬时转向或无限加速度,策略在真实车辆上不可执行。
- 误区三:安全指标单一化。仅使用TTC可能忽略低速场景下的风险,应结合PET与DRAC综合评估。
- 误区四:道路网络建模过于粗糙。缺少车道级连接会导致转向冲突无法被正确识别,影响策略安全性。
复盘要点:交通交互基础不是背景知识,而是强化学习环境设计的核心约束。任何观测空间、动作空间和奖励函数的设计,都应能追溯到本章的四个维度。若某一维度缺失,智能体的行为将出现系统性偏差。