强化学习基础：马尔可夫决策过程（MDP）、状态、动作、奖励、策略、价值函数、折扣因子、探索与利用
在端到端规划控制任务中，车辆需要在未知或部分已知的环境中，依据传感器输入（如摄像头、激光雷达）直接输出转向、油门和制动指令。这类问题的本质是一个序贯决策问题：当前决策不仅影响即时回报，还会改变未来所处的状态，进而影响后续所有决策的收益。强化学习（Reinforcement Learning, RL）为这类问题提供了数学化、可优化的求解框架，而马尔可夫决策过程（Markov Decision Process, MDP）则是这一框架的基石。本章将系统拆解MDP的五大核心要素——状态、动作、奖励、策略、价值函数，并深入讨论折扣因子与探索-利用权衡这两个贯穿RL训练始终的关键机制。理解这些概念，是后续设计状态空间、奖励塑形（Reward Shaping）以及选择规划控制算法（如DDPG、PPO、SAC）的前提。
3.1 马尔可夫决策过程（MDP）的形式化定义
核心原理：MDP是描述序贯决策问题的标准数学模型，由五元组 (S, A, P, R, γ) 构成。其中 S 是有限或连续的状态集合，A 是动作集合，P(s'|s,a) 是状态转移概率，表示在状态 s 执行动作 a 后转移到状态 s' 的概率，R(s,a,s') 是奖励函数，γ 是折扣因子。马尔可夫性质要求状态转移和奖励只依赖于当前状态和动作，与历史无关。在端到端规划控制中，状态通常包含自车动力学信息（速度、横摆角速度）、环境感知信息（障碍物位置、车道线曲率）以及任务信息（目标点坐标）。动作空间可以是离散的（如换道、跟车、停车）或连续的（如方向盘转角、加速度）。
判断方法与操作流程：在实际工程中，将规划控制问题建模为MDP需要完成以下步骤：
- 状态空间设计：确定哪些信息对决策是必要的。例如，对于高速公路巡航，状态可定义为
[v, d_front, v_front, d_lane]，分别代表自车速度、前车距离、前车速度、距车道中心线偏移。 - 动作空间定义：根据执行器能力定义动作。连续动作需限制范围（如转向角 ±30°），离散动作需保证完备性（如 {加速, 巡航, 减速}）。
- 奖励函数设计：这是MDP建模中最关键也最困难的部分。奖励应引导智能体完成任务，同时避免危险行为。常见设计包括：到达目标点给予正奖励、碰撞给予大负奖励、每步给予微小时间惩罚以鼓励效率。
- 转移概率确定：在仿真环境中，转移概率由动力学模型和场景生成器决定；在真实世界中，转移概率是未知的，需要通过交互采样来估计。
案例拆解：以自动驾驶交叉路口左转为例。状态空间包含自车速度、位置、信号灯相位、对向直行车辆的距离与速度。动作空间为离散的 {停车等待, 启动通过, 匀速通过}。奖励函数设计为：成功通过路口 +10，碰撞 -100，每等待一秒 -0.1，违反交通规则 -5。初始训练时，智能体倾向于频繁停车（因为碰撞惩罚太大），导致效率低下。通过调整奖励权重（将等待惩罚提高到 -0.5），智能体学会在安全窗口内果断通过。这一案例说明，MDP建模中奖励函数的微小变化会显著影响学习到的策略行为。
常见误区：初学者常将状态空间设计得过大，包含所有可观测信息，导致维度灾难。实际上，MDP要求状态必须满足马尔可夫性质，即状态应包含决策所需的全部相关信息。在端到端规划中，原始传感器数据（如图像像素）通常不满足马尔可夫性质，需要结合循环神经网络（RNN）或状态估计器来构造充分统计量。
3.2 策略、价值函数与折扣因子
核心原理：策略 π(a|s) 定义了在每个状态下选择动作的概率分布，是RL智能体的行为准则。价值函数用于评估策略的优劣：状态价值 Vπ(s) 表示从状态 s 出发，遵循策略 π 所能获得的期望折扣回报；动作价值 Qπ(s,a) 表示在状态 s 先执行动作 a，之后遵循策略 π 的期望折扣回报。折扣因子 γ 决定了未来奖励的现值：γ 越接近 0，智能体越短视；γ 越接近 1，智能体越重视长期收益。在规划控制中，γ 通常取 0.9~0.99，因为我们需要智能体考虑未来数秒内的安全与效率。
判断方法与操作流程：价值函数的计算依赖于贝尔曼方程：
V_π(s) = Σ_a π(a|s) Σ_{s'} P(s'|s,a) [R(s,a,s') + γ V_π(s')]
Q_π(s,a) = Σ_{s'} P(s'|s,a) [R(s,a,s') + γ Σ_{a'} π(a'|s') Q_π(s',a')]在端到端规划中，状态空间连续且高维，无法精确求解贝尔曼方程，因此使用函数逼近器（如深度神经网络）来估计价值函数。实际操作中，我们通过采样轨迹来更新价值网络参数，最小化时序差分（TD）误差。
| 参数 | 典型值 | 对规划控制的影响 |
|---|---|---|
| γ = 0.5 | 短视 | 只关注近1-2秒内的决策，可能导致急刹车或冒险变道 |
| γ = 0.9 | 平衡 | 考虑未来3-5秒，适合城市道路跟车与换道 |
| γ = 0.99 | 远视 | 考虑未来10秒以上，适合高速公路巡航与节能规划 |
实战经验：在奖励函数设计中，若 γ 较大，则稀疏的远期奖励（如到达终点）也能有效传播；若 γ 较小，则必须设计密集的中间奖励（如每靠近目标点一步给予小奖励），否则智能体难以学习。在端到端规划中，建议先使用中等 γ=0.95，并配合奖励塑形（Potential-Based Reward Shaping）来加速收敛。
3.3 探索与利用的权衡
核心原理：强化学习智能体在学习过程中面临两难选择：利用（Exploitation）当前已知的最优策略以获取高回报，还是探索（Exploration）未知的动作以发现潜在更优的策略。在规划控制中，过度利用会导致智能体陷入局部最优（如总是选择直行而不会绕行），过度探索则会导致频繁的随机动作，影响行驶安全与舒适性。常用的探索策略包括 ε-greedy（以概率 ε 随机选择动作）、UCB（置信上界，根据不确定性选择动作）以及参数噪声（在策略网络参数上添加噪声）。
判断方法与操作流程：选择探索策略时需考虑任务特性：
- 安全性要求：在真实车辆上，探索必须受限。通常先在仿真中充分探索，再迁移到实车时固定策略或使用极小 ε。
- 动作空间维度：连续动作空间更适合使用高斯噪声或Ornstein-Uhlenbeck噪声，离散动作空间适合 ε-greedy。
- 训练阶段：训练初期应加大探索（ε=0.3），后期逐渐衰减（ε=0.01）。
案例拆解：在模拟器CARLA中进行端到端规划控制训练。初始时使用 ε-greedy 策略，ε=0.3，智能体频繁随机转向，导致车辆偏离车道。通过引入课程学习（Curriculum Learning）：先在无交通流场景训练，ε=0.1；再在密集交通流场景训练，ε=0.05。同时，在奖励函数中加入横向偏移惩罚，使智能体在探索时也倾向于保持车道。最终，智能体在测试场景中成功率达到92%，而使用固定 ε=0.1 训练的基线只有78%。这一案例表明，探索策略需要与环境难度和奖励设计协同调整。
常见误区：探索与利用的权衡并非只在训练初期重要。在部署阶段，如果环境发生分布偏移（如新城市、新天气），智能体需要具备在线探索能力。此时可引入基于模型的不确定性估计（如Bayesian神经网络或Ensemble方法），在不确定性高时主动探索，而不是盲目随机。
3.4 端到端规划控制中的MDP实践要点
核心原理：端到端规划控制将感知、预测、规划、控制融合为一个策略网络，其输入是传感器数据，输出是控制指令。这种范式下的MDP建模与传统模块化方法有显著差异：状态不再是人工设计的特征向量，而是高维的原始观测；奖励函数需要同时反映任务完成度、安全性、舒适性和交通规则遵守情况。
操作流程：
- 状态表示：使用多模态融合（相机图像 + 激光雷达点云 + 自车CAN总线数据），通过编码器提取特征作为状态。
- 动作输出：输出连续控制量（转向角、加速度），并加入安全约束（如最大转向速率限制）。
- 奖励塑形：采用分层奖励结构——任务层（到达目标）、安全层（碰撞、偏离）、舒适层（加加速度、横向加速度）、效率层（平均速度、等待时间）。
- 训练策略：使用PPO或SAC算法，配合并行环境采样（如使用100个仿真环境同时运行）来加速数据收集。
| 设计维度 | 传统模块化方法 | 端到端RL方法 |
|---|---|---|
| 状态空间 | 人工设计的低维特征 | 高维原始传感器数据 |
| 动作空间 | 离散的语义动作（换道、跟车） | 连续的底层控制指令 |
| 奖励设计 | 基于规则的目标函数 | 多目标加权奖励，需调参 |
| 可解释性 | 高，每个模块可单独调试 | 低，需借助注意力可视化 |
| 泛化能力 | 依赖人工规则覆盖场景 | 可从数据中学习泛化 |
经验总结：在端到端规划控制中，MDP建模的核心挑战是状态表示的学习和奖励函数的工程化设计。建议采用以下实践：①使用领域随机化（Domain Randomization）增强状态表示的泛化性；②奖励函数采用对数或幂函数压缩，避免数值爆炸；③在训练过程中动态调整奖励权重（如先重视安全，再优化效率）；④使用Hindsight Experience Replay（HER）处理稀疏奖励问题。
本章系统阐述了MDP的数学框架及其在端到端规划控制中的具体映射。理解状态、动作、奖励、策略、价值函数、折扣因子以及探索与利用的权衡，是后续学习深度强化学习算法（如DQN、PPO、SAC）和实际部署的基础。在下一阶段，我们将基于这些概念，进一步讨论如何通过深度神经网络逼近价值函数和策略，并处理高维连续状态空间带来的挑战。