4. 深度强化学习核心方法
在自动驾驶决策控制中，强化学习要解决的核心问题是：给定当前感知与状态，如何输出安全、平滑且长期收益最优的驾驶动作。深度强化学习把深度神经网络作为策略或价值函数的近似器，使智能体能够在高维连续状态空间中学习。本章围绕六类核心方法展开：深度Q网络、策略梯度、演员-评论家、确定性策略梯度、近端策略优化与软演员-评论家，理解它们的演进逻辑比死记公式更重要。
一、核心原理：价值型与策略型的两条路线
深度Q网络（DQN）属于价值型方法。它用神经网络拟合动作价值函数 Q(s,a)，在离散动作空间中选择 Q 值最大的动作。DQN 的两个关键技巧是经验回放与目标网络：经验回放打破样本时间相关性，目标网络缓解“追逐移动目标”导致的训练震荡。其损失通常写作：
L(θ) = E[(r + γ·max_a' Q(s',a';θ⁻) − Q(s,a;θ))²]
θ⁻ 为目标网络参数，周期性从 θ 复制但 DQN 难以直接处理自动驾驶的连续转向、油门与制动。策略梯度（PG）改为直接参数化策略 πθ(a|s)，通过采样轨迹估计梯度并提升高回报动作的概率。它的优点是天然支持连续动作与随机策略，缺点是方差大、样本效率低。
演员-评论家（Actor-Critic）把两者结合：演员（Actor）负责输出策略，评论家（Critic）估计价值并给出优势信号，用优势替代原始回报以降低方差。确定性策略梯度（DPG/DDPG）进一步在连续动作空间输出确定性动作，配合探索噪声使用，适合车辆横向控制这类连续控制任务。
二、方法流程与关键机制
近端策略优化（PPO）是当前工程落地最广的策略梯度类算法之一。它通过重要性采样复用旧策略数据，并用裁剪目标限制新旧策略差异，避免更新步长过大导致策略崩溃：
ratio = πθ(a|s) / πθ_old(a|s)
L_clip = E[min(ratio·A, clip(ratio, 1−ε, 1+ε)·A)]
典型超参：clip ε=0.2，GAE λ=0.95，γ=0.99软演员-评论家（SAC）则在最大熵框架下学习：不仅最大化累计回报，还最大化策略熵，使智能体在保持性能的同时维持探索能力。SAC 使用双 Q 网络抑制过估计，并通过重参数化技巧对连续动作直接求梯度，样本效率通常优于 PPO，适合仿真数据昂贵的场景。
三、案例场景：自动驾驶中的方法选择
假设一个城市路口决策任务：状态包含自车速度、前车距离、信号灯相位与周围车辆位置，动作是“加速、匀速、减速、左转、右转”等离散指令。此时 DQN 或 Double DQN 是自然选择。若任务改为连续控制，动作是方向盘转角与加速度，则 DDPG、PPO 或 SAC 更合适。
在 CARLA 仿真中，常见做法是用 PPO 训练换道决策策略，因为 PPO 对超参相对鲁棒，且支持多环境并行采样；而在真实数据昂贵或仿真步进极慢时，SAC 往往能用更少交互达到相近性能。DDPG 适合作为连续控制的基线，但其对噪声与学习率敏感，容易出现 Q 值过估计。
| 方法 | 动作空间 | 核心机制 | 自动驾驶典型用途 | 主要风险 |
|---|---|---|---|---|
| DQN | 离散 | 经验回放 + 目标网络 | 车道选择、离散决策 | Q 值过估计、难扩展连续 |
| PG | 离散/连续 | 策略梯度上升 | 随机策略建模 | 方差大、收敛慢 |
| AC | 离散/连续 | Actor + Critic 优势 | 决策与控制通用框架 | 两网络耦合不稳定 |
| DDPG | 连续 | 确定性策略 + 探索噪声 | 转向、油门连续控制 | 对超参敏感、过估计 |
| PPO | 离散/连续 | 裁剪重要性采样 | 换道、跟驰、并行训练 | 样本效率中等 |
| SAC | 连续 | 最大熵 + 双 Q | 复杂交互、样本昂贵场景 | 实现复杂、熵系数调参 |
四、误区与复盘
复盘时建议按以下清单检查：策略是否在训练分布外失效；价值估计是否明显偏高；探索噪声是否随训练衰减；奖励函数是否诱导了危险但高分的捷径行为。只有把算法机制与驾驶任务的安全语义对齐，深度强化学习才能真正从仿真走向可用的决策控制模块。