1. 课程导入

自动驾驶系统通常被划分为感知、定位、预测、决策、控制五个核心环节。感知回答“周围有什么”，定位回答“我在哪里”，预测回答“别人会怎么动”，而决策与控制回答的是最关键的两个问题：我该做什么，以及我该怎样精确地做到。前者是行为决策与运动规划，后者是横纵向控制执行。它们共同构成自动驾驶的“大脑与手脚”，直接决定车辆在复杂交通流中的安全性、舒适性与通行效率。

从工程视角看，决策控制模块的输入是感知与预测输出的环境表示，输出是油门、制动、转向等底层执行信号。中间需要经过行为决策、轨迹规划、轨迹跟踪三层处理。传统方法依赖规则库、有限状态机、采样优化与模型预测控制（MPC），在结构化道路和清晰规则场景中表现稳定，但面对加塞、鬼探头、无保护左转、施工绕行等长尾场景时，规则爆炸与参数调优成本急剧上升。

核心原理：从规则驱动到学习驱动

深度强化学习（Deep Reinforcement Learning, DRL）把决策问题建模为马尔可夫决策过程（MDP）：智能体在状态 s 下选择动作 a，环境返回奖励 r 并转移到新状态 s'，目标是学习策略 π(a|s) 以最大化长期累积回报。与监督学习不同，DRL 不需要人工标注“正确动作”，而是通过与环境交互试错，自主发现更优策略。

在自动驾驶中，状态通常包括自车速度、加速度、航向角、周围车辆相对位置与速度、车道线信息、交通灯状态等；动作空间可以是离散的（如换道/保持/减速），也可以是连续的（如目标加速度与曲率）；奖励函数则综合安全距离、碰撞惩罚、舒适度、通行效率与规则合规性。深度网络负责从高维状态中提取特征并逼近策略或价值函数，使系统具备处理复杂、不确定场景的能力。

方法流程：DRL 决策控制闭环

一个典型的 DRL 自动驾驶决策控制闭环包含以下步骤：环境建模与状态设计、动作空间定义、奖励函数设计、策略网络训练、仿真验证、安全约束与实车部署。训练阶段通常在 CARLA、SUMO、Highway-env 等仿真器中完成，通过大规模并行采样加速收敛；部署阶段则需考虑推理实时性、安全兜底与可解释性。

状态 s_t：自车速度、加速度、航向、周围车辆相对位姿、车道信息
动作 a_t：目标加速度、目标曲率 / 换道指令
奖励 r_t：安全距离奖励 - 碰撞惩罚 - 舒适度惩罚 + 通行效率奖励
策略 π：深度网络输出动作分布或确定性动作
更新：PPO / SAC / DDPG / DQN 等算法优化策略参数

下图展示了自动驾驶决策控制的分层结构，以及深度强化学习在其中的定位：它位于预测与规划之间，向上承接环境表示，向下输出行为与轨迹意图，再由控制模块执行。

案例场景：无保护左转中的决策难题

以城市道路无保护左转为例：自车需要在没有专用左转信号灯的情况下，穿越对向直行车流完成左转。规则方法通常设定“对向车辆距离大于阈值且速度低于阈值时通过”，但真实场景中对向车辆可能加速、减速或变道，阈值难以覆盖所有情况。DRL 方法可以把对向多车的位置、速度、到达冲突点时间作为状态，把“等待/缓慢蠕行/加速通过”作为动作，把碰撞、通行时间、乘客舒适度纳入奖励，通过大量仿真交互学习到更接近人类驾驶员的博弈策略。

这一案例说明：DRL 的优势在于处理高维状态与序贯博弈，但它的输出必须经过安全约束层校验，例如设置最小安全距离、碰撞时间阈值与动力学可行性检查，避免策略在训练分布外产生危险动作。

常见误区与学习复盘

• 误区一：DRL 可以端到端替代所有模块。实际上端到端方法仍面临可解释性、安全验证与长尾泛化难题，工程中更常见的是分层架构与混合方法。
• 误区二：奖励函数越复杂越好。奖励项过多会导致权重难以平衡，策略可能钻空子。应优先保证安全项，再逐步加入效率与舒适项。
• 误区三：仿真训练好就能直接上车。仿真与真实存在域差异，必须经过域随机化、安全兜底与实车灰度验证。
• 误区四：只关注算法，忽略状态与动作设计。状态表示是否充分、动作空间是否合理，往往比算法选择更影响最终效果。

课程整体框架与学习目标

本课程共 30 章，围绕“基础理论—算法实现—自动驾驶场景落地—工程部署”四条主线展开。前段建立强化学习与自动驾驶决策控制的基础认知；中段深入 DQN、PPO、SAC、DDPG 等算法及其在换道、跟车、路口通行中的应用；后段覆盖仿真环境、奖励设计、安全约束、训练调参与部署验证。

通过本章，你应当建立起一个基本判断：自动驾驶决策控制是一个安全优先、分层协作、数据与模型共同驱动的系统工程；深度强化学习是其中处理复杂序贯决策的有力工具，但必须与规则约束、优化方法和安全验证结合，才能真正走向可靠落地。