课程导入：自动驾驶路径规划概述、模仿学习与逆强化学习在其中的角色、课程目标与学习路径

自动驾驶系统是一个高度复杂的软硬件耦合体，其核心能力可拆解为感知（Perception）、决策（Decision）、规划（Planning）与控制（Control）四大模块。其中，路径规划处于“感知之后、控制之前”的承上启下位置，直接决定了车辆在动态交通环境中的行为表现。传统规划方法依赖手工设计的代价函数与规则库，在应对长尾场景时往往力不从心。而模仿学习（Imitation Learning, IL）与逆强化学习（Inverse Reinforcement Learning, IRL）为路径规划提供了一条“从人类驾驶数据中直接学习驾驶策略与奖励函数”的新范式。本章作为全课程的开篇，将系统梳理路径规划的问题边界、IL与IRL在其中的定位，并给出课程的整体学习路径与目标。

1.1 自动驾驶路径规划的问题定义与挑战

核心原理：从“几何路径”到“行为决策”的跨越

路径规划在自动驾驶语境下包含三个层次：全局路径规划（Route Planning）负责从起点到终点的道路级导航，通常基于高精地图与拓扑搜索算法（如A*、Dijkstra）；行为决策（Behavior Planning）解决“当前场景下应该跟车、变道、超车还是靠边停车”的语义级选择；局部轨迹规划（Trajectory Planning）则生成满足运动学约束、避障要求与乘坐舒适性的具体轨迹曲线（包含位置、速度、加速度随时间的变化）。三者构成递进关系，而本课程聚焦于后两者——尤其是局部轨迹规划中如何利用人类驾驶数据来优化决策与轨迹生成。

传统规划方法将问题建模为带约束的优化问题：在给定代价函数 \( J(x,u) \) 的前提下，求解使累计代价最小的轨迹序列。代价函数通常包含安全性（与障碍物距离）、舒适性（加速度/加加速度）、效率（通行时间）等加权项。然而，这种方法的瓶颈在于权重标定困难——不同场景下（如高速公路与城市拥堵）最优权重差异巨大，且人工设计的代价函数难以覆盖复杂交互场景中的隐性规则（如“礼貌让行”“防御性驾驶”）。

判断方法：何时需要引入IL/IRL？

场景特征	传统优化方法	IL/IRL方法
场景复杂度	规则清晰、状态可枚举	长尾场景、交互博弈
代价函数设计	人工调参，依赖专家经验	从数据中自动恢复
数据需求	无需数据，依赖模型	需要高质量人类驾驶数据
可解释性	高（规则透明）	中（奖励函数可分析）
泛化能力	场景外表现差	数据覆盖场景表现好

当规划系统面临以下痛点时，应考虑引入IL/IRL：① 代价函数权重在跨场景迁移时频繁失效；② 人类驾驶行为中的“隐性规则”难以用显式公式表达；③ 需要系统具备类人的交互博弈能力（如并道时的礼让与博弈）。

案例拆解：城市复杂路口的人驾数据利用

某自动驾驶公司收集了10万公里城市道路的人类驾驶数据，发现传统规划算法在无保护左转场景中失败率高达12%（主要问题为对向直行车辆意图判断保守导致效率低下）。通过分析人类驾驶数据，发现人类驾驶员在左转时会根据对向车辆速度与距离动态调整“等待-启动”决策边界，而非固定阈值。这一发现促使团队引入逆强化学习，从数据中恢复出包含“时间效率”“安全裕度”“驾驶激进程度”三个维度的奖励函数，使左转成功率提升至98.5%，且平均通过时间缩短22%。

常见误区与总结

• 误区一：认为IL/IRL是端到端黑箱，完全抛弃规则与约束。实际上，安全约束（如碰撞避免、交规遵守）必须作为硬约束保留。
• 误区二：忽视数据质量与分布偏差。如果训练数据仅包含特定地区或特定天气的驾驶行为，模型在其他场景会严重退化。
• 误区三：将模仿学习等同于行为克隆（Behavior Cloning），忽略其复合误差（Compounding Error）问题——这正是后续章节将重点讨论的内容。

1.2 模仿学习与逆强化学习在路径规划中的角色

核心原理：两种范式的互补关系

模仿学习（IL）的目标是直接学习一个策略 \(\pi_\theta(a|s)\)，使得在状态 \(s\) 下输出的动作 \(a\) 尽可能接近专家演示。其最朴素的形式是行为克隆，即监督学习：\(\min_\theta \sum_i \mathcal{L}(\pi_\theta(s_i), a_i)\)。然而，行为克隆存在“分布偏移”问题——训练时模型只见过专家状态分布，推理时一旦偏离该分布，误差会累积放大。

逆强化学习（IRL）则从另一个角度切入：假设专家行为是在最大化某个未知奖励函数 \(R(s,a)\)，IRL的目标是从专家演示中恢复该奖励函数，然后再通过强化学习（RL）或最优控制求解策略。IRL的优势在于：恢复出的奖励函数具有可解释性，且能泛化到新场景（因为奖励函数比策略更本质）。

在路径规划中，两者的角色可概括为：IL适合“直接模仿驾驶风格”（如学习人类的换道时机选择），IRL适合“理解驾驶意图与偏好”（如恢复不同驾驶员对安全与效率的权衡系数）。实际系统中常将两者结合——先用IRL恢复奖励函数，再用IL或RL优化策略。

操作流程：从数据到规划策略的标准管线

1. 数据采集与预处理：通过量产车或测试车采集人类驾驶数据，包括GPS/IMU、相机、激光雷达、CAN总线信号（方向盘转角、油门/刹车踏板开度）。对数据进行时间同步、坐标统一与场景切分。
2. 场景标注与语义理解：将连续驾驶数据切分为独立场景（如跟车、变道、路口通行），并标注交通参与者的语义信息（车辆、行人、骑行者）。
3. 特征工程：提取与规划相关的状态特征，如自车速度、加速度、与前方车辆距离（TTC）、车道偏移量、周围车辆相对速度等。
4. 模型训练：若采用IL，则直接训练策略网络；若采用IRL，则先恢复奖励函数，再通过RL求解最优策略。
5. 仿真验证与实车部署：在仿真环境中进行闭环测试，评估安全性、舒适性与效率指标，通过后再进行实车测试。

案例拆解：Waymo的IRL应用实践

Waymo在其规划系统中引入了基于最大熵IRL（MaxEnt IRL）的奖励函数学习方法。他们从数百万英里的真实驾驶数据中提取了约200个特征（包括与障碍物的最小距离、速度方差、车道保持偏差等），通过IRL学习出每个特征的权重。结果显示，学习出的奖励函数能够很好地解释人类驾驶行为，并且在仿真环境中，基于该奖励函数的规划器在“并道博弈”场景中的表现优于人工调参的基线系统。值得注意的是，Waymo并未完全抛弃规则——他们仍然保留了硬性安全约束（如最小安全距离），IRL学习的奖励函数仅用于软性偏好表达。

常见误区与总结

• 误区一：认为IRL可以完全替代人工规则。实际上，IRL恢复的奖励函数只能反映数据中的统计规律，无法覆盖未出现的极端安全场景。
• 误区二：忽略“专家”的定义。不同驾驶员风格差异巨大，需要明确“专家”的标准（如安全记录良好的职业司机），否则学习到的策略可能包含不良驾驶习惯。
• 误区三：将IL与IRL对立。两者是互补工具——IL适合快速原型验证，IRL适合深入理解驾驶机理，工程中应灵活组合。

1.3 课程目标与学习路径

核心原理：从理论到落地的能力构建

本课程的目标是培养学员在自动驾驶路径规划领域，具备使用模仿学习与逆强化学习解决实际工程问题的能力。具体而言，完成本课程后，学员将能够：

• 理解IL与IRL的数学原理、算法推导与适用边界；
• 独立完成从数据采集、特征提取、模型训练到仿真验证的完整流程；
• 掌握主流算法（如DAgger、GAIL、MaxEnt IRL、Adversarial IRL）的代码实现与调优技巧；
• 具备将IL/IRL与传统规划方法（MPC、A*）融合的工程能力；
• 了解实车部署中的安全冗余、算力约束与系统架构设计。

学习路径：分阶段递进

阶段	章节范围	核心内容	实践项目
基础理论	第1-5章	路径规划基础、IL/IRL数学原理、MDP建模	搭建仿真环境（CARLA/SUMO）
算法进阶	第6-15章	行为克隆、DAgger、GAIL、MaxEnt IRL、对抗式IRL	实现并对比多种IL/IRL算法
工程实践	第16-25章	特征工程、奖励函数设计、安全约束融合、仿真验证	完成城市道路规划器原型
部署与调优	第26-30章	实车部署、算力优化、故障排查、场景泛化	实车测试与性能评估

案例拆解：一个典型的学习项目闭环

假设学员需要完成“基于IRL的高速公路变道规划器”项目。项目流程如下：

1. 数据准备：使用开源数据集（如nuScenes、Argoverse）提取高速公路场景，包含自车轨迹与周围车辆轨迹。
2. 特征设计：定义状态特征（自车速度、相对速度、TTC、车道偏移量）与动作空间（变道/保持）。
3. IRL训练：使用MaxEnt IRL恢复奖励函数权重，分析各特征的相对重要性。
4. 策略求解：将恢复的奖励函数嵌入MPC框架，求解最优轨迹。
5. 评估：在仿真中对比基线（人工权重）与IRL权重下的变道成功率、平均速度与乘坐舒适度。

通过该项目，学员能够完整经历“数据→特征→模型→部署”的全链路，并理解每个环节的关键决策点。

常见误区与总结

• 误区一：认为课程只讲算法推导，忽略工程实现。本课程强调“代码可运行、实验可复现”，每章配套实践项目。
• 误区二：跳过基础直接学习高级算法。IRL的数学基础（概率图模型、变分推断）是理解高级算法（如Adversarial IRL）的前提。
• 误区三：忽视安全与伦理问题。自动驾驶规划涉及公共安全，课程将专门讨论安全验证与责任归属问题。