2. 可信度评估的术语与标准体系

仿真模型可信度评估之所以容易产生争议,很大程度上是因为术语混用。有人把“验证”当成“确认”,有人把“确认”当成“验收”,还有人把“可信度”直接等同于“精度”。要建立可沟通、可审计的评估结论,第一步不是选算法,而是统一术语边界,并明确各标准体系对“证据”的要求。

一、四个核心术语的边界

在建模与仿真(M&S)领域,最基础的四个术语是:验证(Verification)、确认(Validation)、VV&A 和 认可(Accreditation)。它们回答的是四个不同问题:

  • 验证:模型建得对不对?即“是否正确地构建了模型”。关注从概念模型到仿真程序的转换是否正确,包括代码逻辑、数值算法、单位一致性、边界条件等。典型问题是:方程实现是否与设计一致?时间步长是否导致数值发散?
  • 确认:模型建得准不准?即“是否构建了正确的模型”。关注模型在预期应用场景下与真实系统或参考数据的一致程度。典型问题是:在给定工况下,模型输出与试验数据的偏差是否在可接受范围内?
  • VV&A:是验证、确认与认可的统称,强调三者是一个连续、迭代、贯穿全生命周期的过程,而不是一次性动作。
  • 认可:由权威机构或用户代表正式判定“该模型对特定用途是否可接受”。认可不是技术结论,而是基于验证与确认证据做出的管理决策,具有明确的用途限定和有效期。

需要特别强调:确认不是“证明模型绝对正确”,而是“在指定用途和可接受准则下,证据是否充分”。因此,确认结论必须绑定“用途”和“可接受准则”两个限定条件,脱离用途谈可信度没有意义。

二、可信度等级:从定性到定量的阶梯

可信度等级用于把“有多可信”从模糊描述变成可比较的刻度。常见做法是划分若干等级,例如:

  • 等级 0(未评估):模型未经过任何系统性验证与确认,仅可用于演示或概念探索。
  • 等级 1(定性可信):通过专家评审、代码走查、量纲检查等定性手段,确认模型结构合理,但缺少定量对比。
  • 等级 2(定量可信):在代表性工况下与参考数据进行了定量对比,关键输出量的误差满足预设准则。
  • 等级 3(统计可信):在参数不确定性、工况覆盖和重复试验条件下,通过统计检验(如置信区间、假设检验)证明模型输出与参考数据一致。
  • 等级 4(认可可信):在等级 3 基础上,由权威机构完成正式认可,明确用途边界、限制条件和有效期。

等级划分不是目的,而是帮助评估者判断“当前证据够不够支撑目标用途”。例如,用于飞行员训练的全任务模拟器,通常要求达到等级 3 或 4;而用于早期方案筛选的工程仿真,等级 1 或 2 可能已足够。

三、主要标准体系的核心要求

不同标准体系对 VV&A 的侧重点不同,工程中常需组合使用。

标准 核心定位 关键要求
IEEE 1516(HLA 系列) 分布式仿真互操作与联邦开发 强调联邦成员之间的一致性、时间管理、对象模型(FOM/SOM)的规范描述,为多模型联合仿真提供互操作层面的可信基础。
NASA-STD-7009 航天领域模型与仿真可信度标准 提出“可信度评估”的八要素:验证、确认、输入不确定性、结果不确定性、敏感性分析、数值误差、使用历史、独立评审。要求对每个要素给出证据和评级。
DoD VV&A RPG 美国国防部 VV&A 推荐实践指南 按生命周期阶段组织 VV&A 活动,强调“需求—概念模型—设计—实现—应用”的逐级追溯,要求建立 VV&A 计划、证据链和可追溯矩阵。

三者的关系可以这样理解:IEEE 1516 解决“模型之间怎么连”,NASA-STD-7009 解决“单个模型可信度怎么评”,DoD VV&A RPG 解决“整个项目生命周期怎么管”。实际工程中,往往以 DoD RPG 为流程骨架,以 NASA-STD-7009 为评估要素清单,以 IEEE 1516 为联合仿真的技术接口规范。

四、标准落地的关键:证据链与可追溯性

标准条文本身不产生可信度,可信度来自“证据链”。所谓证据链,是指从需求到结论的每一步都有可核查的记录。例如,某型无人机飞控仿真模型的可信度评估,至少应包含:

  • 需求文档中明确的“用途”和“可接受准则”(如:俯仰角误差 ≤ 2°,在 0~50 m/s 速度范围内);
  • 概念模型与数学方程的描述,以及代码实现与方程的一致性检查记录;
  • 风洞试验或飞行试验的参考数据,及其不确定度说明;
  • 仿真输出与参考数据的对比结果,包括误差统计、敏感性分析;
  • 独立评审意见和认可结论,明确限制条件(如“仅适用于中低速巡航段”)。

没有证据链,即使模型输出看起来“很准”,也无法通过正式认可。反过来,证据链完整但结论是“当前等级不足”,同样是有价值的评估结果——它明确告诉决策者风险在哪里。

VV&A 术语关系与标准体系映射 验证 Verification 模型建得对不对? 确认 Validation 模型建得准不准? VV&A 过程 全生命周期迭代 认可 Accreditation 权威判定用途可接受 证据链 需求与可接受准则 概念模型与代码一致性 参考数据与不确定度 对比结果与敏感性分析 独立评审与认可结论 IEEE 1516(HLA) 互操作 · 时间管理 · FOM/SOM 解决“模型之间怎么连” NASA-STD-7009 八要素评估 · 证据评级 解决“单个模型可信度怎么评” DoD VV&A RPG 生命周期 · 可追溯矩阵 解决“项目全周期怎么管” 可信度等级阶梯(证据强度递增) 等级 0 未评估 等级 1 定性可信 等级 2 定量可信 等级 3 统计可信 等级 4 认可可信

五、工程实践中的常见误区

第一,把验证当确认。代码跑通、量纲正确,只能说明“验证”通过,不能说明模型在真实工况下准确。第二,把确认当认可。技术团队完成对比分析,不等于权威机构已批准该模型用于特定任务。第三,忽略用途限定。同一个模型,用于训练和用于飞行控制律设计,可信度要求完全不同。第四,证据链断裂。只有最终对比报告,没有需求追溯、参考数据来源和不确定度说明,评审时无法复现结论。

实用建议:在项目启动阶段就建立“VV&A 证据清单”,按 NASA-STD-7009 的八要素逐项列出计划收集的证据、责任人和完成时间。每完成一项,更新证据状态。这样在认可评审时,可以直接用清单对照,避免临时补材料。