4. 多智能体系统基础
多智能体强化学习（MARL）与单智能体强化学习最根本的差别，不在于“智能体数量变多”，而在于环境本身变成了一个由多个学习主体共同塑造的动态系统。在交通场景中，每辆车、每个路口信号机、每个行人都是决策主体，它们的动作会改变其他主体的观测与收益。理解多智能体系统的四大基础——环境特性、合作与竞争关系、全局与局部观测、通信与协调机制——是设计可靠交通控制算法的前提。
一、多智能体环境的本质特性
多智能体环境通常被建模为随机博弈（Stochastic Game），可用元组 ⟨N, S, {Aᵢ}, P, {Rᵢ}, γ⟩ 描述：N 个智能体、联合状态 S、各自动作集 Aᵢ、状态转移 P、各自奖励 Rᵢ 与折扣因子 γ。与单智能体 MDP 相比，它有三个关键特性：
- 非平稳性（Non-stationarity）：其他智能体在持续学习，其策略不断变化，导致从任一智能体视角看，环境转移概率 P 随时间漂移。这是 MARL 最难克服的问题，也是训练不收敛的主要根源。
- 部分可观测性（Partial Observability）：每个智能体只能看到局部状态，无法获知全局真实状态，形成 Dec-POMDP 结构。
- 信用分配困难（Credit Assignment）：团队奖励由多个智能体共同产生，难以判断谁的贡献大、谁该被惩罚。
二、合作、竞争与混合关系
按奖励结构，多智能体关系可分为三类：
- 完全合作：所有智能体共享同一奖励 R₁ = R₂ = … = Rₙ。典型场景是区域信号协调控制，目标是全网通行效率最大化。
- 完全竞争：一方收益即另一方损失，零和博弈。典型场景是交叉口无信号博弈中的抢行冲突。
- 混合动机（Mixed Motive）：既有共同利益又有冲突。这是交通场景最常见的形态——车辆都希望快速通过（竞争），但都不希望碰撞（合作）。
在混合动机下，算法需要同时处理个体理性与集体理性。常见做法是引入奖励塑形：Rᵢ' = Rᵢ + λ·R_team，通过权重 λ 调节合作倾向。λ 过大导致“搭便车”，λ 过小则难以形成协同。
三、全局观测与局部观测
观测结构决定了智能体能获取多少信息，也直接决定算法架构选择。下表对比了三种典型观测模式：
| 观测模式 | 信息内容 | 优点 | 局限 | 典型算法 |
|---|---|---|---|---|
| 纯局部观测 | 仅自身与邻近对象状态 | 可扩展、通信开销低 | 易陷入局部最优 | IQL、VDN |
| 全局观测 | 全网所有智能体状态 | 决策信息完整 | 维度爆炸、不可扩展 | 集中式训练 |
| 集中训练-分散执行 | 训练用全局，执行用局部 | 兼顾性能与可扩展 | 需额外价值网络 | QMIX、MADDPG |
CTDE（Centralized Training with Decentralized Execution）是当前主流范式：训练阶段允许使用全局信息学习一个联合价值函数，执行阶段每个智能体仅依赖局部观测独立决策。这既缓解了非平稳性，又保证了部署时的可扩展性。
四、通信与协调机制
当局部观测不足以支撑决策时，智能体之间需要通信。通信机制设计需回答三个问题：传什么、传给谁、何时传。
- 显式通信：智能体输出离散消息向量，通过可微信道传递。代表方法 CommNet、TarMAC，使用注意力机制决定消息权重。
- 隐式协调：不传递显式消息，而是通过共享价值函数或策略梯度实现隐式协同，如 QMIX 的单调性约束。
- 通信约束：真实交通场景中带宽有限、时延存在，需引入通信预算与丢包建模，避免“理想信道”假设导致仿真到现实失效。
五、典型场景与常见误区
以城市交叉口群协调为例：每个路口信号机是一个智能体，观测为本地各进口道排队长度与相位状态，动作为下一相位选择，奖励为区域平均延误的负值。若采用纯局部观测，容易出现相邻路口“绿波”错位；引入 CTDE 与邻域通信后，可显著提升干线通行效率。
复盘时可用以下清单自查：环境是否建模为随机博弈？奖励结构属于合作、竞争还是混合？观测是局部还是全局，是否采用 CTDE？通信是否有预算约束？是否评估了非平稳性带来的收敛问题？只有这五个问题都明确回答，多智能体系统的设计才算完整。