2. 仿真可信度基础

在自动驾驶研发中,仿真不是“跑得通”就算有效。一个仿真结果能否被用于功能放行、算法迭代或安全论证,取决于它是否可信。仿真可信度(Simulation Credibility)是指:在特定应用目的和使用边界下,利益相关方对仿真结果正确性、充分性和适用性的信任程度。它不是仿真软件自带的属性,而是由模型、数据、场景、验证证据和评审过程共同支撑的结论。

核心判断:可信度 = 证据强度 × 与真实世界的一致性 × 对预期用途的覆盖度。缺少任何一项,仿真结论都只能作为参考,不能作为决策依据。

一、可信度的四个评估维度

评估仿真可信度时,通常从以下四个维度展开,它们分别回答不同问题:

  • 模型正确性:数学模型、物理模型、传感器模型是否在数学和逻辑上正确,是否经过校核(Verification)。
  • 数据可靠性:输入数据、标定参数、真值数据是否来源清晰、精度足够、时间同步正确。
  • 场景代表性:仿真场景是否覆盖目标ODD中的关键工况、边缘案例和失效模式。
  • 结果一致性:仿真输出与实车测试、台架测试或高置信度参考结果之间的偏差是否在可接受范围内。

这四个维度不是并列打分,而是形成证据链。模型正确但场景不覆盖,结论不可用;场景丰富但数据不可靠,结论同样不可信。

二、V&V与VV&A:三个容易混淆的概念

V&V是Verification and Validation的缩写,VV&A是Verification, Validation and Accreditation的缩写。两者关系密切,但范围不同。

概念英文核心问题典型活动
校核Verification模型建对了吗?代码审查、单元测试、数值收敛性检查、方程一致性验证
验证Validation模型像真实世界吗?实车对比、传感器回放、场景复现、误差统计分析
认可Accreditation能用于这个用途吗?评审、证据审查、置信度定级、使用边界确认

V&V关注“模型本身是否可靠”,VV&A进一步回答“在特定应用场景下是否被官方或组织认可”。在自动驾驶领域,主机厂和供应商通常要求仿真工具链通过VV&A流程后,才能进入功能安全或预期功能安全的证据链。

三、仿真置信度等级与适用场景

为了把可信度从定性判断变成可管理对象,工程上常将仿真置信度划分为若干等级。等级越高,所需证据越强,适用场景也越关键。

  • L0 探索级:用于算法早期调试、可视化检查,不用于任何性能结论。
  • L1 趋势级:用于相对比较,如A算法是否优于B算法,但不输出绝对安全指标。
  • L2 工程级:用于功能迭代和回归测试,要求场景库稳定、模型经过基本校核。
  • L3 验证级:用于功能放行支撑,要求与实车数据有统计一致性,关键场景误差可量化。
  • L4 认证级:用于安全论证和法规提交,要求完整VV&A证据链、独立评审和可追溯性。

使用建议:不要用低置信度仿真结果去支撑高等级决策。例如,用L1趋势级仿真证明“AEB满足法规要求”是不成立的;反之,用L4认证级仿真去调试一个早期感知算法,成本过高且没有必要。

四、从证据到结论:可信度评估流程

可信度评估不是一次性动作,而是贯穿仿真生命周期的过程。典型流程如下:

  1. 明确预期用途和使用边界,确定目标置信度等级。
  2. 制定V&V计划,列出需要校核和验证的模型、数据和场景。
  3. 执行校核活动,确认模型实现与设计一致。
  4. 执行验证活动,将仿真结果与参考数据对比,计算误差指标。
  5. 汇总证据,进行VV&A评审,确定置信度等级。
  6. 记录使用限制和剩余风险,形成可信度档案。
可信度证据包示例:
- 模型校核报告:数值收敛、边界条件、单位一致性
- 验证报告:实车对比场景数 120,横向误差 RMSE 0.18 m
- 场景覆盖报告:ODD 覆盖率 87%,边缘案例 34 类
- 评审结论:置信度 L3,适用于城市NOA功能回归
- 使用限制:不适用于 80 km/h 以上高速场景

五、案例:为什么同一仿真结果会被质疑

某团队用仿真验证AEB功能,结果显示碰撞避免率99.2%。但评审时被质疑,原因有三:第一,场景库中前车切出工况占比过高,缺少行人横穿和逆光场景;第二,雷达模型未经过实车标定,距离误差在雨雾条件下偏大;第三,仿真结果没有与实车AEB测试做统计对比。最终该仿真被定为L1趋势级,不能用于功能放行。

这个案例说明:可信度不是“仿真跑得好”,而是“证据链完整且与用途匹配”。

六、常见误区与复盘

  • 误区一:把软件测试通过等同于仿真可信。软件测试只证明代码正确,不证明模型与真实世界一致。
  • 误区二:只做验证不做校核。如果模型实现有误,再多的实车对比也可能掩盖系统性问题。
  • 误区三:置信度等级一劳永逸。当ODD扩展、传感器配置变更或场景库更新时,置信度需要重新评估。
  • 误区四:忽略使用边界。任何仿真都有适用范围,超出边界的结论必须降级使用。

复盘要点:可信度评估必须留下可追溯的证据。没有记录的证据等于没有证据;没有边界的结论等于危险结论。

仿真可信度评估与 VV&A 关系 预期用途决定证据强度,证据强度决定置信度等级 可信度四维评估 模型正确性 数学/物理/传感器模型 数据可靠性 标定/真值/时间同步 场景代表性 ODD覆盖/边缘案例 结果一致性 仿真与实车偏差 VV&A 证据链 校核 Verification 模型建对了吗? 代码审查 · 数值收敛 · 单元测试 验证 Validation 模型像真实世界吗? 实车对比 · 传感器回放 · 误差统计 认可 Accreditation 能用于这个用途吗? 评审 · 证据审查 · 边界确认 置信度等级 L4 认证级 安全论证 · 法规提交 L3 验证级 功能放行 · 统计一致 L2 工程级 回归测试 · 功能迭代 L1 趋势级 相对比较 · 算法筛选 L0 探索级 早期调试 · 可视化 可信度 = 证据强度 × 与真实世界一致性 × 对预期用途覆盖度

总结来看,仿真可信度不是单一指标,而是一套围绕预期用途组织起来的证据体系。理解可信度定义、四个评估维度、V&V与VV&A的区别,以及置信度等级与适用场景的对应关系,是后续开展场景库建设、模型标定和虚实验证工作的前提。只有先回答“这份仿真结果能用来做什么”,才能正确决定“需要多少证据、达到什么等级”。