📚 课程目录第1章课程导入

1. 课程导入

欢迎进入《自动驾驶强化学习策略评测与部署工程》。在自动驾驶领域，强化学习（Reinforcement Learning, RL）常被用于解决决策规划、行为博弈、轨迹生成与端到端控制等难题。然而，一个策略在仿真训练中表现优异，并不等于它能在真实车辆上安全、稳定、实时地运行。本课程关注的正是从“训练出一个策略”到“把策略可靠地部署到车端”之间的完整工程链路，核心可以概括为三个关键词：评测、部署、闭环。

本课程的学习目标不是重新推导强化学习算法，而是建立一套工程化能力：能够定义评测指标、搭建仿真评测环境、分析策略失效模式、完成模型导出与推理优化，并在车端计算平台上实现可监控、可回滚的部署。

一、核心概念：策略、环境与部署约束

在自动驾驶强化学习中，策略（Policy）通常是一个从观测到动作的映射函数。观测可能包括自车状态、周围车辆轨迹、地图信息与历史动作；动作可能是离散的换道/跟驰决策，也可能是连续的加速度与转向指令。环境（Environment）则负责根据动作反馈新的状态与奖励。训练阶段我们关心的是累计回报最大化，而部署阶段我们关心的是时延、确定性、安全边界与资源占用。

因此，本课程将“策略”视为一个待交付的软件组件，而不是一个数学公式。它需要经过评测、量化、编译、封装、集成与监控，最终在车端计算平台上以固定周期运行。下面这张图展示了从训练策略到车端部署的整体框架，也是本课程后续章节的主线。

二、方法流程：从策略到车端的五步链路

为了让工程落地有章可循，本课程将部署流程拆解为五个阶段。每个阶段都有明确的输入、输出与验收标准，避免“训练完直接上车”的跳跃式操作。

策略冻结与导出：固定网络结构与权重，导出为 ONNX 或 TorchScript 等中间格式，记录输入输出张量形状与归一化参数。
离线评测：在仿真器与回放数据上运行策略，统计碰撞率、通行效率、舒适度与规则违反次数。
推理优化：进行算子融合、量化（FP16/INT8）、内存复用与批处理裁剪，满足车端时延预算。
车端集成：将推理运行时嵌入自动驾驶软件栈，处理传感器输入、时间同步与动作输出接口。
在线监控与回滚：采集推理时延、输入分布与动作统计，发现异常时切换到安全策略或旧版本。

下面给出一个典型的策略导出与推理配置片段，用于说明工程中需要固化的参数。注意，这些参数在评测与部署之间必须保持一致，否则会出现“仿真好、实车差”的典型问题。

# policy_export.yaml
model:
  name: highway_decision_policy
  input_shape: [1, 48]        # 自车状态 + 周围车辆 + 地图特征
  output_shape: [1, 5]        # 离散动作：跟驰/左换道/右换道/加速/制动
  normalize:
    mean: [0.0, 0.0, ...]
    std:  [1.0, 1.0, ...]
runtime:
  target: orin
  precision: fp16
  max_latency_ms: 80
  fallback_policy: safe_stop

三、案例场景：一个换道策略的评测与部署

假设我们训练了一个高速公路换道策略，在仿真中成功率达到 92%。但直接部署到车端后，工程师发现两个问题：一是推理时延在拥堵场景下超过 120 ms，导致决策滞后；二是策略在近距离切入场景中频繁输出激进换道动作。通过本课程的方法，可以按以下路径排查：

检查输入特征是否在车端被正确归一化，尤其是周围车辆距离与相对速度。
在评测体系中增加“近距离切入”与“密集车流”场景，观察策略的动作分布。
对策略输出增加安全层：当换道收益低于阈值或存在碰撞风险时，强制保持车道。
使用 INT8 量化与算子融合降低时延，并重新跑回归评测，确认精度损失在可接受范围。

评测不是一次性的“考试”，而是贯穿训练、优化与部署的持续过程。每次模型更新、量化或运行时升级，都应触发回归评测。

四、常见误区与复盘

初学者最容易陷入的误区，是把“奖励高”等同于“可部署”。实际上，奖励函数只是训练信号，不能直接代表安全性、舒适性与实时性。另一个常见误区是忽略输入输出的数值一致性：训练时使用浮点归一化，部署时却忘记同步参数，导致策略行为完全漂移。

误区	表现	纠正方式
只看平均回报	仿真分数高，实车表现差	建立多维度评测指标，覆盖安全、效率、舒适与规则
忽略时延预算	推理超时，决策周期抖动	在部署前完成量化与编译，并测量最坏时延
训练与部署预处理不一致	动作分布异常，策略失效	固化归一化参数，端到端校验输入输出
缺少回滚机制	异常时无法降级	设计安全策略与版本回滚通道

在真实车辆上部署强化学习策略前，必须经过仿真评测、硬件在环测试与封闭场地测试。任何跳过安全验证的部署都可能带来严重后果。

五、学习路径与整体框架

本课程后续将沿着“评测—优化—部署—监控”的主线展开。你会先学习如何定义评测指标与搭建仿真评测环境，再进入模型导出、量化与推理优化，随后完成车端集成与在线监控。每一章都会围绕一个可落地的工程问题展开，并配有配置示例、评测清单或排障路径。

学习本课程不需要你从头实现强化学习算法，但需要你具备基本的 Python 编程能力、了解神经网络推理流程，并对自动驾驶软件栈有初步认识。如果你已经训练过策略模型，却不知道如何让它稳定上车，那么这门课程正是为你准备的。

请带着一个问题开始学习：我的策略在什么条件下会失效？我如何提前发现并阻止它？ 这个问题的答案，将贯穿评测与部署工程的每一个环节。