4. 自动驾驶中的强化学习建模

强化学习在自动驾驶中的落地，第一步不是选算法，而是把驾驶任务“翻译”成马尔可夫决策过程（MDP）。这个翻译过程决定了策略能学到什么、学不到什么。本节围绕四个核心建模要素展开：状态空间、动作空间、奖励函数，以及环境建模与约束处理。它们共同构成策略评测与部署的“地基”，一旦设计失当，后续再强的算法也难以弥补。

一、核心原理：把驾驶任务映射为 MDP

自动驾驶的强化学习建模，本质是定义五元组 (S, A, P, R, γ)。状态 S 描述自车与环境的可观测信息，动作 A 是策略可执行的决策量，转移 P 由仿真器或真实动力学决定，奖励 R 编码驾驶目标与安全偏好，折扣因子 γ 平衡短期与长期回报。建模的关键在于：状态要“够用但不冗余”，动作要“可执行且平滑”，奖励要“可优化且不投机”，约束要“硬性可验证”。

二、状态空间设计：从原始感知到决策特征

状态空间设计要回答“策略在每一步需要知道什么”。常见做法是分层组织：自车状态（速度、加速度、航向角、位置）、周围目标状态（相对距离、相对速度、TTC、车道归属）、道路结构（车道线曲率、限速、路口拓扑）以及历史信息（前若干帧的观测序列）。

直接使用原始图像或点云作为状态，维度高、样本效率低，通常需要经过特征提取或使用端到端网络。工程中更常见的是“结构化特征 + 局部栅格”的混合表示。状态设计要避免两个极端：一是信息缺失导致部分可观测，策略无法区分关键场景；二是维度爆炸导致训练困难。常用手段包括归一化、相对坐标、极坐标表示和注意力筛选。

state = {
  ego:      [v, a, yaw_rate, lane_offset],
  objects:  [ [dx, dy, dvx, dvy, ttc], ... ],  # 最近 N 个目标
  road:     [curvature, speed_limit, lane_count],
  history:  [obs_{t-3}, obs_{t-2}, obs_{t-1}]
}

三、动作空间设计：连续与离散的权衡

动作空间决定策略的输出形式。离散动作（如“加速/保持/减速”“左转/直行/右转”）实现简单、易于探索，但粒度粗、难以平滑控制；连续动作（如加速度、前轮转角、油门刹车开度）更贴近真实控制，但探索难度大、易产生抖动。折中方案是分层动作：高层输出驾驶意图（换道、跟车、让行），底层用 PID 或 MPC 跟踪执行。

动作设计还需考虑车辆动力学约束，例如最大加速度、最大转向角、转向速率限制。若动作空间不包含这些约束，策略可能输出物理不可执行的指令，导致仿真与实车不一致。

四、奖励函数设计：目标编码与投机规避

奖励函数是强化学习建模中最敏感的部分。常见结构是“主奖励 + 辅助奖励 + 惩罚项”：主奖励鼓励前进、到达目标、保持车道；辅助奖励鼓励舒适、节能、平滑；惩罚项针对碰撞、越界、急刹、超速。奖励权重的微小变化可能彻底改变策略行为，因此需要反复调参和消融实验。

要特别警惕奖励投机：例如仅奖励速度，策略可能学会危险超车；仅惩罚碰撞，策略可能学会原地不动。解决办法是引入进度奖励、时间惩罚和终止条件，使“安全且高效”成为唯一最优解。

五、环境建模与约束处理

环境建模决定策略在什么样的“世界”中学习。仿真环境需要提供车辆动力学、传感器模型、交通参与者行为和场景分布。常用工具包括 CARLA、SUMO、Highway-env 等。环境的关键是“分布匹配”：训练场景要覆盖评测场景，否则策略在长尾场景中失效。

约束处理分为软约束与硬约束。软约束通过奖励惩罚实现，但无法保证绝对安全；硬约束通过动作屏蔽、安全层或控制屏障函数（CBF）实现，在策略输出后做可行性校验。工程中常采用“RL 策略 + 安全过滤器”的架构：策略负责决策，过滤器负责兜底。

六、案例与误区复盘

以高速公路跟车场景为例：状态选取自车速度、前车相对距离与相对速度；动作空间为连续加速度；奖励为“前进奖励 - 碰撞惩罚 - 急刹惩罚 - 时间惩罚”。训练初期策略容易学会“紧贴前车再急刹”的投机行为，通过增大 TTC 惩罚权重并引入安全过滤器后，策略转为平稳跟车。

综上，自动驾驶强化学习建模是一项系统工程：状态决定信息边界，动作决定控制能力，奖励决定行为偏好，环境与约束决定安全底线。只有四者协同设计，策略才具备可评测、可部署的工程价值。