1. 课程导入
当自动驾驶从“单车智能”走向“驾驶智能体”，评测对象不再只是一个感知模型或一条控制规则，而是一个会观察、推理、决策、执行并根据反馈持续调整的闭环系统。传统开环评测——用固定数据集算精度、用单次仿真跑里程——已经无法回答一个关键问题：这个智能体在长时间、多场景、强交互的环境中，是否始终安全、可靠、可解释？本课程要建立的，正是一套面向驾驶智能体的闭环评测与仿真验证工程方法。
一、学习目标：从会跑到可信
完成本课程后，学习者应能独立设计并落地一套驾驶智能体评测方案。具体目标分为四层：
- 概念层：理解闭环评测、仿真验证、场景库、覆盖率、回归门禁等核心概念及其相互关系。
- 方法层：掌握场景生成、指标设计、仿真执行、结果归因、版本对比的完整方法流程。
- 工程层：能够搭建可复现的仿真评测流水线，把评测接入持续集成，形成自动化回归能力。
- 决策层：能依据评测证据判断智能体版本是否可发布，并定位性能退化来自感知、预测还是规划模块。
二、核心概念：闭环、场景与指标
闭环评测指被测智能体的输出会改变环境状态，环境变化又反过来影响智能体下一时刻的输入。它与开环评测的本质区别在于“反馈”：开环只看单步输出对不对，闭环看整段行为在交互中是否收敛到安全状态。
场景是评测的最小单元，通常由道路结构、交通参与者、初始状态、触发条件和评价目标构成。一个高质量场景库应覆盖常规、边缘和对抗三类情形。指标则是把行为翻译成可比较的数字，常见的有碰撞率、脱离接管次数、通行效率、舒适度和规则违反率。
三者关系可以概括为：场景提供“考什么”，仿真提供“怎么考”，指标提供“考得怎么样”。缺少任何一环，评测都会退化为不可信的经验判断。
三、整体框架：五层闭环工程
本课程将驾驶智能体闭环评测与仿真验证工程拆解为五个层次，它们首尾相接，构成持续迭代的闭环。下图展示了从场景输入到版本放行的完整信号与数据流。
五层之间不是单向流水线，而是带反馈的闭环：指标层的结果会回流到场景层，形成“失败场景回灌”；回归门禁的结论会驱动智能体层迭代。正是这条反馈路径，让评测从“事后打分”变成“持续改进的引擎”。
四、方法流程：一次完整评测怎么跑
把框架落到操作层面，一次标准闭环评测通常包含六个步骤：
- 定义评测目标：明确本轮要验证的能力，例如无保护左转、施工区绕行或夜间行人避让。
- 构建场景集：从真实数据挖掘、参数化生成和专家设计三条路径汇聚场景，并标注预期行为。
- 配置仿真环境：设定地图、传感器模型、交通流密度和随机种子，保证可复现。
- 执行闭环仿真：让智能体在环境中连续运行，记录轨迹、决策日志和中间信号。
- 计算指标并归因：统计安全、效率、舒适、合规四类指标，定位异常发生的模块与时刻。
- 版本对比与放行：与基线版本逐项对比，通过门禁则放行，否则回灌场景并进入下一轮。
其中“可复现”是工程底线。同一场景、同一随机种子、同一智能体版本，必须得到一致的评测结果，否则所有对比都失去意义。实践中常用如下配置片段固定实验条件：
scenario_id: unprotected_left_turn_042
map: urban_intersection_v3
seed: 20240517
traffic_density: 0.65
sensor_model: camera_lidar_fusion_v2
agent_version: driving_agent_1.8.3
metrics: [collision_rate, takeover_count, avg_speed, jerk, rule_violation]
五、行业应用场景
闭环评测与仿真验证并非实验室概念，它已经渗透到驾驶智能体研发的多个关键环节。下表列出典型场景与对应价值。
| 应用场景 | 评测重点 | 工程价值 |
|---|---|---|
| 算法版本迭代 | 回归对比、退化检测 | 防止新版本引入安全回退 |
| 新功能上线前验证 | 边缘场景覆盖率 | 降低实车路测风险与成本 |
| 传感器配置选型 | 感知鲁棒性、失效场景 | 支撑硬件方案决策 |
| 法规与标准符合性 | 规则违反率、责任判定 | 形成可审计的合规证据 |
| 线上问题复盘 | 接管片段重建与归因 | 把事故转化为回归用例 |
六、常见误区与复盘
误区二：只看总分不看分布。平均指标良好，可能掩盖少数高危场景的严重失败。
误区三：评测与研发脱节。评测脚本不接入流水线，结果无法及时反馈，闭环断裂。
误区四：场景库长期不更新。智能体能力提升后，旧场景不再有区分度，评测失去意义。