1. 课程导入

自动驾驶智能体并不是一个只会“看一帧、做一次决策”的感知模型，而是一个在时间轴上持续运行、持续观察、持续行动的系统。它需要在毫秒级感知之外，保留对道路环境、交通参与者意图、自身历史行为、乘客偏好以及任务目标的连续理解。这种“跨时间、跨模块、跨任务”的信息保持与调用能力，就是记忆与上下文管理要解决的核心问题。

如果把自动驾驶智能体比作一名经验丰富的司机，那么感知与规控决定了他“此刻怎么开”，而记忆与上下文管理决定了他“为什么这样开、之前发生了什么、接下来可能发生什么”。没有记忆的智能体，每一次决策都像第一次上路；没有上下文管理的智能体，即使有记忆，也无法在正确时刻调用正确信息。

一、为什么自动驾驶需要“记忆”与“上下文”

传统自动驾驶栈通常以“帧”为单位处理数据：当前帧感知结果输入预测模块，预测结果输入规划模块，规划输出控制指令。这种流水线在简单场景中有效，但在复杂城市道路中会暴露明显短板。

• 遮挡与盲区：被大车遮挡的行人可能在前几帧已经出现，若系统不保留历史轨迹，就会在遮挡后“遗忘”其存在。
• 意图推断：一辆车连续多次压线、减速、打灯，这些历史行为是判断其是否准备变道的关键上下文。
• 交互协商：无保护左转、窄路会车、匝道汇入等场景中，自车与他车的博弈依赖对彼此历史行为的记忆。
• 乘客体验：乘客说“还是走上次那条路”，系统需要调用长期记忆中的路线偏好与历史行程。
• 故障复盘：当系统出现异常决策时，需要回放当时的记忆状态与上下文注入内容，才能定位问题。

因此，记忆与上下文管理不是某个模块的附属功能，而是贯穿感知、预测、规划、控制、交互全链路的基础设施。

二、整体知识框架：从短期记忆到长期记忆

本课程将围绕“记忆生命周期”展开，整体知识框架可以概括为五个层次：记忆表示、记忆存储、上下文构建、检索与注入、更新与遗忘。它们共同构成自动驾驶智能体的“认知缓存”。

这五层并非线性流水线，而是闭环系统：检索与注入的结果会影响下一轮记忆表示，更新与遗忘又会反过来决定存储层的容量与检索质量。工程上，每一层都需要在延迟、容量、准确性、隐私之间做权衡。

三、核心方法流程：一次决策中的记忆调用

为了把抽象概念落到工程实现，我们来看一次典型城市路口决策中，记忆与上下文管理是如何工作的。

1. 感知写入：当前帧检测到行人、车辆、车道线，系统将对象轨迹写入短期环形缓冲，并附带时间戳、置信度、速度估计。
2. 事件抽取：若某车辆连续三帧减速并打右灯，系统生成“疑似右转/靠边”事件，写入事件记忆。
3. 上下文构建：规划器请求“当前路口 + 自车任务 + 近 5 秒交互对象”的上下文，系统从短期与长期记忆中检索并裁剪。
4. 注入决策：将上下文以结构化字段或向量形式注入预测与规划模型，影响让行、减速、绕行等行为。
5. 更新与遗忘：决策完成后，更新对象重要性评分；对超过时间窗口且低重要性的记忆进行衰减或清理。

# 伪代码：一次上下文构建与注入
context = memory.query(
    scene="intersection_42",
    task="unprotected_left_turn",
    time_window=5.0,
    top_k=8,
    filters={"importance": ">0.3", "privacy": "allowed"}
)
planner_input = fuse(perception, context, vehicle_state)
action = planner.decide(planner_input)
memory.update(action, reward=critic.score(action))
memory.forget(strategy="time_decay", threshold=0.15)

这段伪代码体现了三个关键工程点：查询条件要带场景与任务，否则检索结果会噪声过大；top_k 与时间窗口要可配置，以适配不同算力平台；遗忘策略要显式设计，不能只靠内存溢出被动清理。

四、案例与场景：记忆如何改变行为

假设自车在城市道路准备无保护左转，对向有一辆黑色轿车。若系统没有记忆，它只能看到当前帧：黑车距离 30 米、速度 40 km/h，规划器可能选择“抢行”或“保守等待”，行为不稳定。

若系统具备记忆与上下文管理，它会发现：过去 3 秒内黑车从 45 km/h 减速到 38 km/h，且轻微向左偏移，同时驾驶员头部有观察动作。这些历史上下文会提高“黑车可能让行”的概率估计，规划器可以更平滑地完成左转，而不是反复犹豫。

五、常见误区与复盘

误区	表现	后果	改进方向
把记忆等同于缓存	只做帧级缓存，不做语义抽取	检索噪声大，决策模块无法直接用	增加事件摘要与重要性评分
只存不删	长期记忆无限增长	检索延迟升高，车载存储压力大	设计时间衰减与容量上限
上下文与任务无关	把所有历史一股脑注入	模型注意力被稀释，实时性下降	按场景、任务、时间窗口裁剪
忽略隐私与合规	长期保存乘客语音、人脸等原始数据	合规风险高，难以量产落地	脱敏、最小化、本地化存储
缺少可观测性	无法回放“当时注入了什么上下文”	故障定位困难，迭代效率低	记录上下文快照与检索日志

复盘这些误区可以发现，记忆与上下文管理本质上是一个信息治理问题：哪些信息值得记、以什么形式记、存多久、何时取、取多少、如何验证。它既涉及数据结构与检索算法，也涉及系统架构、算力预算、隐私合规与安全冗余。

六、学习目标与工程价值

完成本课程后，学习者应能够：

• 理解自动驾驶智能体记忆的分类：短期记忆、长期记忆、工作记忆、事件记忆与语义记忆。
• 掌握上下文构建的基本方法：场景建模、任务建模、交互建模与乘客建模。
• 能够设计记忆存储与检索方案，并在延迟、容量、准确性之间做工程权衡。
• 能够将记忆与上下文注入预测、规划、控制及人机交互模块，提升行为一致性。
• 能够建立记忆系统的可观测性、回放能力与隐私合规机制。

从工程价值看，记忆与上下文管理直接支撑三个目标：安全性——减少因遗忘导致的误判；舒适性——让决策更平滑、更拟人；可迭代性——让每一次异常都能被回放、归因与修复。随着端到端模型与智能体架构在自动驾驶中的深入应用，记忆与上下文管理将从“加分项”变为“必选项”。