2. 模仿学习基础
在自动驾驶的决策规划模块中，模仿学习（Imitation Learning, IL）是一类“从专家示范中学习策略”的方法。它的核心假设是：如果人类驾驶员在大量场景中给出了合理的状态—动作对，那么学习器可以通过拟合这些示范，逼近人类策略。与强化学习依赖环境奖励不同，模仿学习直接利用专家数据，因而在奖励难以设计、试错成本极高的自动驾驶场景中具有天然优势。本节围绕三种基础范式展开：行为克隆、逆强化学习与交互式模仿学习，厘清它们的定义、区别与典型应用。
一、核心原理：三种范式的定位
行为克隆（Behavior Cloning, BC）是最直接的模仿学习形式。它把专家轨迹拆成状态—动作样本对 \((s_t, a_t)\)，用监督学习训练策略 \(\pi_\theta(a|s)\)，使模型在给定状态下输出接近专家的动作。BC 本质上是“状态到动作”的回归或分类问题，训练目标通常是最小化动作误差：
L_BC = E_{(s,a)~D_expert} [ || π_θ(s) - a ||² ]
# 或离散动作下的交叉熵
L_BC = -E_{(s,a)~D_expert} [ log π_θ(a|s) ]逆强化学习（Inverse Reinforcement Learning, IRL）则换了一个角度：不直接学策略，而是先从专家示范中推断奖励函数 \(R_\psi(s,a)\)，再基于该奖励用强化学习求解最优策略。IRL 的假设是“专家行为近似最优”，因此专家轨迹应当在该奖励下获得高回报。它解决了奖励设计难题，但计算代价高、训练不稳定。
交互式模仿学习（Interactive Imitation Learning, IIL）强调学习过程中的交互与纠偏。经典代表是 DAgger（Dataset Aggregation）：策略先执行，专家对访问到的状态给出纠正动作，新数据不断聚合回训练集，从而缓解 BC 的分布偏移问题。IIL 把“被动看示范”变成“主动问专家”，是当前自动驾驶工程中更受关注的范式。
二、方法流程：从数据到策略的差异
三者的流程差异决定了工程适用性。BC 的流程最短：采集专家数据 → 监督训练 → 部署。它训练快、实现简单，但存在经典的复合误差问题：策略在推理时一旦出现小偏差，就会进入训练集中未出现过的状态，导致误差迅速放大。IRL 的流程更长：采集专家数据 → 学习奖励 → 用 RL 优化策略，中间嵌套了奖励学习和策略优化两个循环，计算成本显著上升。IIL 则在 BC 基础上加入交互闭环：策略执行 → 专家纠偏 → 数据聚合 → 重训练，反复迭代直到策略稳定。
关键区别一句话总结：BC 学“专家在什么状态做什么”，IRL 学“专家为什么这么做”，IIL 学“我在什么状态下做错时，专家会怎么纠正我”。
三、典型应用场景与对比
在自动驾驶中，三种范式各有落点。BC 常用于端到端车道保持、横向控制、简单跟车等状态分布相对稳定的任务；IRL 适合需要解释性奖励、多目标权衡的场景，例如礼让行人、舒适性与通行效率的平衡；IIL 则更适合复杂交互场景，如无保护左转、汇入车流、环岛通行等，因为这些场景中策略自身会访问大量训练集未覆盖的状态。
| 维度 | 行为克隆 BC | 逆强化学习 IRL | 交互式模仿学习 IIL |
|---|---|---|---|
| 学习对象 | 策略 π(a|s) | 奖励 R(s,a) + 策略 | 策略 + 交互数据 |
| 专家数据形式 | 离线状态—动作对 | 离线专家轨迹 | 在线纠偏动作 |
| 分布偏移 | 严重，误差累积 | 较轻，但奖励歧义 | 显著缓解 |
| 训练成本 | 低 | 高 | 中高（需专家在环） |
| 典型场景 | 车道保持、跟车 | 礼让、多目标权衡 | 无保护左转、汇入 |
四、误区与复盘
常见误区一：认为 BC 数据越多越好。实际上，若数据覆盖的状态分布与策略实际访问分布不一致，增加数据并不能解决复合误差，反而可能加剧对训练分布的过拟合。
常见误区二：把 IRL 当作“万能奖励学习器”。IRL 存在奖励歧义：不同奖励函数可能产生相同的最优策略，且内层 RL 训练不稳定，工程落地需谨慎。
常见误区三：认为 IIL 一定优于 BC。IIL 需要专家持续在环，人力成本高；若纠偏信号质量差或延迟大，反而会引入噪声。实际工程中常采用“BC 预训练 + IIL 微调”的组合策略。
复盘来看，选择哪种范式取决于三个问题：状态分布是否可控、奖励是否可设计、专家是否可在线交互。BC 是起点，IRL 提供奖励视角，IIL 则把模仿学习从“静态拟合”推进到“动态纠偏”，为后续 DAgger 等具体算法奠定了方法论基础。