1. 课程导入

自动驾驶系统从实验室演示走向规模化量产，真正决定其能否上路的，往往不是某一次惊艳的演示，而是能否被系统性地度量与证明。一辆自动驾驶汽车在真实道路上每行驶数万公里才可能遇到一次极端场景，如果仅靠路测积累里程来验证安全性，成本与周期都难以承受。评测指标与基准平台，正是把"看不见的安全"转化为"可量化、可复现、可比较"的工程语言，这也是本课程要解决的核心问题。

一、为什么自动驾驶必须"被评测"

自动驾驶是一个典型的安全关键系统，它的失效代价不可逆。与互联网软件"快速迭代、容忍故障"的哲学不同，自动驾驶的每一次误判都可能对应人身伤害。因此评测承担三重使命：

• 安全性证明：用可量化的指标回答"它到底有多安全"，例如每百万公里接管次数、碰撞率、最小安全距离违反率。
• 能力边界刻画：明确系统在哪些场景（如无保护左转、施工区、夜间逆光）下可靠，哪些场景下会退化。
• 研发闭环驱动：评测结果反哺感知、预测、规划、控制各模块，形成"发现问题—定位原因—修复—回归验证"的迭代闭环。

换句话说，评测不是研发结束后的"验收环节"，而是贯穿整个研发周期的度量基础设施。

二、发展历程：从里程数到场景库

自动驾驶评测的演进，本质上是从"粗放统计"走向"精细建模"的过程。早期业界用累计测试里程和接管率（MPI，Miles Per Intervention）作为主要指标，加州DMV的年度脱离报告一度成为行业风向标。但里程数存在明显缺陷：不同企业的测试路线难度差异巨大，简单比较里程会严重失真。

随后，行业转向基于场景的评测。以Waymo、百度和众多学术机构为代表，构建了包含自然驾驶场景、危险场景、边缘场景（Corner Case）的场景库，并引入仿真平台进行大规模回放与泛化。近年来，随着大模型与端到端方法的兴起，评测进一步走向多维度、多层级、数据驱动：既看结果指标（碰撞、舒适度），也看过程指标（轨迹合理性、博弈交互质量），还看泛化能力（跨城市、跨天气、跨传感器配置）。

三、核心原理：评测的三层结构

理解评测体系，可以抓住一条主线：指标（Metric）— 基准（Benchmark）— 平台（Platform）。指标定义"测什么"，基准定义"和谁比、达到什么水平"，平台定义"怎么高效地测"。三者层层递进，缺一不可。

下图展示了本课程的整体知识框架与评测信号链：从真实数据与场景出发，经过仿真与实车验证，最终汇聚为可比较的基准结论，并反哺研发迭代。

四、方法流程：一次完整评测如何跑通

无论采用仿真还是实车，一次规范的评测通常遵循如下流程，这也是后续章节反复出现的"骨架"：

1. 定义评测目标：明确是验证安全性、比较算法版本，还是满足法规准入。
2. 构建场景与数据集：从真实数据中抽取场景，标注关键参与者与初始状态。
3. 选择评测环境：仿真（SIL）、硬件在环（HIL）、车辆在环（VIL）或实车。
4. 执行与采集：记录轨迹、控制量、传感器输入与系统内部状态。
5. 计算指标：按统一口径计算安全、舒适、效率等指标。
6. 统计与归因：区分偶发失败与系统性缺陷，定位到具体模块。
7. 形成基准报告：输出可比较、可复现的结论。

下面是一段典型的评测任务配置示例，用于描述一次仿真评测的输入参数：

evaluation:
  name: "urban_unprotected_left_turn_v2"
  scenario_set: "scenarios/urban/left_turn/*.json"
  simulator: "carla-0.9.15"
  sut_version: "planning-v3.4.1"
  metrics:
    - collision_rate
    - min_ttc
    - max_jerk
    - route_completion
  runs_per_scenario: 50
  seed_range: [0, 49]
  output: "reports/left_turn_v2.csv"

五、案例与场景：同一个路口，两种结论

假设某系统在城市无保护左转场景中，仿真通过率达到 92%，看似不错。但若把场景按"对向车流密度"分层，会发现高密度下通过率骤降至 61%，且失败集中在"对向直行车速大于 50 km/h"的子集。这说明单一总体指标会掩盖长尾风险。规范做法是按场景维度切片统计，并对高风险子集单独设阈值。这正是基准平台相比"跑一遍看结果"的价值所在。

六、课程目标与知识地图

本课程围绕"指标—基准—平台"主线展开，学完后你应当能够：独立设计一套评测指标体系；搭建可复现的仿真与实车评测流程；读懂并批判性使用公开基准；定位评测中的统计陷阱与工程坑。

评测的本质，是用工程手段逼近"安全可证明"这一目标。它既需要严谨的数学与统计，也需要对真实驾驶场景的深刻理解。接下来的章节，我们将从最基础的指标定义开始，一步步搭建起完整的自动驾驶评测与基准平台知识体系。