1. 课程导入
自动驾驶正在从“感知—规划—控制”的经典模块化流水线，走向以大模型为认知内核的 Driving Agent（驾驶智能体）。它不是简单地把一个语言模型塞进车里，而是让车辆具备“理解场景、推理意图、制定决策、调用工具、闭环执行、复盘学习”的完整智能体能力。本章作为全课程导入，先建立统一定义，再梳理发展脉络，明确核心价值，最后给出 30 章的整体知识框架。
一、什么是 Driving Agent
Driving Agent 可以定义为：以多模态感知为输入、以大模型推理为决策核心、以车辆执行器与仿真环境为行动空间，能够在动态交通场景中自主完成感知理解、意图推理、行为决策、轨迹生成与安全校验的闭环智能系统。它与传统自动驾驶软件的关键差别在于三点：
- 认知层可推理：不再只依赖规则与有限状态机，而是能对“前车为什么减速”“行人是否要横穿”做因果推断。
- 工具可调用：Agent 可以调用地图、预测、规划、仿真、诊断等模块，像人使用工具一样组合能力。
- 记忆可迭代：通过场景记忆、失败案例与反馈信号持续优化策略，形成数据闭环。
二、发展历程：从规则到智能体
自动驾驶的技术演进大致经历四个阶段。第一阶段是规则驱动，依靠人工编写的状态机与阈值判断，场景覆盖有限。第二阶段是模块化数据驱动，感知用深度学习，规划仍以优化为主，系统可解释但泛化不足。第三阶段是端到端学习，用一个大网络直接从传感器映射到控制，减少信息损失，但可解释性与安全验证困难。第四阶段即当前正在形成的 Driving Agent：以多模态大模型为认知中枢，结合工具调用与记忆机制，在端到端基础上增加推理、反思与协作能力。
三、核心价值：为什么需要 Driving Agent
Driving Agent 的价值不只是“更聪明”，而是解决传统自动驾驶在长尾场景中的系统性瓶颈。第一，长尾理解：面对施工改道、临时交警手势、异形障碍物，规则难以穷举，Agent 可通过多模态推理给出合理假设。第二，人机交互：乘客说“前面便利店停一下”，Agent 需要理解语言、定位目标、规划临时路径，这是传统规划器不擅长的。第三，数据效率：通过记忆与反思，把一次失败转化为可复用经验，减少对海量标注的依赖。第四，系统协作：Agent 可作为“大脑”调度感知、预测、规划、仿真等工具，形成可插拔的工程架构。
四、典型场景：城市路口左转
以城市无保护左转为例。传统模块化系统通常按“检测对向车—预测轨迹—判断间隙—规划左转”执行，遇到对向车辆犹豫、行人突然进入时容易僵持。Driving Agent 的处理流程更接近人类驾驶员：
- 场景理解：识别对向车流速度、行人位置、信号灯相位与路口几何。
- 意图推理：推断对向车辆是否让行、行人是否准备横穿。
- 决策制定：选择“等待”“缓行试探”或“加速通过”。
- 工具调用：调用轨迹规划器生成候选轨迹，调用安全校验器评估碰撞风险。
- 执行与反馈：输出控制指令，并根据实际响应更新记忆。
场景输入: 无保护左转, 对向车距 35m, 行人距斑马线 2m
Agent 推理: 对向车未明显减速 -> 风险偏高
决策输出: 缓行试探, 目标间隙 >= 4.5s
安全校验: 最小碰撞时间 TTC > 2.0s 通过
执行结果: 等待 1.8s 后对向车让行, 完成左转
记忆更新: 记录“对向车犹豫”特征, 供后续相似场景参考五、常见误区与复盘
| 误区 | 问题 | 正确认识 |
|---|---|---|
| Driving Agent 就是端到端大模型 | 忽略工具调用与记忆机制 | Agent 是系统级闭环，模型只是认知内核 |
| 有了大模型就不需要规则 | 安全底线无法保证 | 规则与安全校验仍是最后一道防线 |
| 只关注模型精度 | 忽略时延、算力与车规约束 | 工程落地需同时优化性能与实时性 |
| 一次训练即可上线 | 缺少数据闭环与复盘 | 记忆与反馈迭代才是持续进化关键 |
六、课程学习目标与整体知识框架
本课程共 30 章，围绕“定义—架构—感知—推理—决策—执行—评测—落地”的主线展开。学习目标包括：掌握 Driving Agent 的系统架构与核心组件；理解多模态感知、世界模型与推理决策的实现方法；能够设计工具调用、记忆管理与安全校验机制；具备仿真评测、数据闭环与工程部署的基本能力。
- 基础篇：定义、发展、核心价值、整体架构。
- 感知与理解篇：多模态输入、场景图、世界模型。
- 推理与决策篇：意图推理、行为决策、轨迹生成、工具调用。
- 执行与安全篇：控制接口、安全校验、冗余与降级。
- 评测与落地篇：仿真测试、数据闭环、车规部署与复盘。