3. 强化学习入门

在自动驾驶决策控制中，车辆每一时刻都要根据当前交通态势选择下一步行为：跟车、变道、超车还是制动。这类“边观察、边决策、边学习”的问题，正是强化学习（Reinforcement Learning, RL）的典型场景。强化学习不依赖人工标注的“标准答案”，而是让智能体在与环境的反复交互中，通过奖励信号逐步学会更优策略。理解这一过程，需要先掌握马尔可夫决策过程（MDP）这套数学语言。

一、核心原理：把驾驶决策抽象为 MDP

马尔可夫决策过程用一个五元组描述序贯决策问题：(S, A, P, R, γ)。其中 S 是状态集合，A 是动作集合，P 是状态转移概率，R 是奖励函数，γ 是折扣因子。它的核心假设是“马尔可夫性”：下一时刻的状态只取决于当前状态和当前动作，与更早的历史无关。对自动驾驶而言，这意味着只要状态设计得足够充分，当前的状态向量就应包含决策所需的全部关键信息。

状态（State）是智能体对环境的感知压缩。在车道保持场景中，状态可以包含自车速度、横向偏差、航向角误差、前车距离、前车相对速度等。动作（Action）是决策输出，可以是离散的“左变道/直行/右变道”，也可以是连续的油门、制动、转向量。奖励（Reward）是学习的方向盘，例如安全到达目标给正奖励，碰撞给大负奖励，偏离车道给持续小负奖励。策略（Policy）π 是从状态到动作的映射，分为确定性策略和随机策略。价值函数衡量“某个状态或某个状态-动作对有多好”，贝尔曼方程则揭示了当前价值与未来价值之间的递归关系。

二、方法流程：从交互到策略改进

强化学习的训练流程可以概括为“交互—评估—改进”的循环。智能体在状态 s 下依据策略选择动作 a，环境返回奖励 r 和新状态 s'，智能体据此更新价值估计，再改进策略。以 Q-learning 为例，其更新公式为：

Q(s, a) ← Q(s, a) + α [ r + γ · max Q(s', a') − Q(s, a) ]
                a'

其中：
  α  学习率，控制新信息覆盖旧估计的幅度
  γ  折扣因子，越接近 1 越重视长期回报
  r  即时奖励
  max Q(s', a')  下一状态的最优动作价值估计

在自动驾驶中，奖励设计往往比算法选择更关键。若只奖励“快速到达”，车辆可能学会危险超车；若只惩罚碰撞，车辆可能学会原地不动。因此通常采用多目标加权奖励：

r = w1 · 前进效率
  + w2 · 安全性（碰撞、急刹、超速惩罚）
  + w3 · 舒适性（加速度、 jerk 惩罚）
  + w4 · 合规性（车道保持、限速、礼让）

三、案例场景：高速公路变道决策

假设自车在高速公路上行驶，状态包含自车速度、与前车距离、相邻车道后方车辆距离和相对速度。动作空间为“保持车道、左变道、右变道”。奖励设计为：成功变道且未影响后车给 +1，发生碰撞给 −10，变道后被迫急刹给 −2，正常跟车给 +0.1。智能体通过大量仿真回合学习，逐渐发现“相邻车道后车距离足够大且相对速度合适时才变道”这一策略。价值函数 V(s) 会反映出“当前状态是否适合变道”，而 Q(s,a) 则进一步区分每个动作的长期收益。

四、探索与利用的平衡

探索与利用是强化学习中最经典的矛盾。只利用当前最优动作，可能陷入局部最优；只探索新动作，则难以稳定收敛。常用方法包括 ε-greedy、Softmax 采样、UCB 和熵正则。在自动驾驶中，探索必须在安全约束下进行，通常先在仿真环境中大量探索，再逐步迁移到实车或封闭场地。

掌握 MDP、状态、动作、奖励、策略、价值函数、贝尔曼方程以及探索与利用，是进入深度强化学习决策控制的第一步。后续的 DQN、DDPG、PPO 等算法，都是在这套框架上引入神经网络来逼近策略和价值函数，从而应对自动驾驶中高维连续的状态与动作空间。