2. 可信度评估的术语与标准体系
仿真模型可信度评估之所以容易产生争议,很大程度上是因为术语混用。有人把“验证”当成“确认”,有人把“确认”当成“验收”,还有人把“可信度”直接等同于“精度”。要建立可沟通、可审计的评估结论,第一步不是选算法,而是统一术语边界,并明确各标准体系对“证据”的要求。
一、四个核心术语的边界
在建模与仿真(M&S)领域,最基础的四个术语是:验证(Verification)、确认(Validation)、VV&A 和 认可(Accreditation)。它们回答的是四个不同问题:
- 验证:模型建得对不对?即“是否正确地构建了模型”。关注从概念模型到仿真程序的转换是否正确,包括代码逻辑、数值算法、单位一致性、边界条件等。典型问题是:方程实现是否与设计一致?时间步长是否导致数值发散?
- 确认:模型建得准不准?即“是否构建了正确的模型”。关注模型在预期应用场景下与真实系统或参考数据的一致程度。典型问题是:在给定工况下,模型输出与试验数据的偏差是否在可接受范围内?
- VV&A:是验证、确认与认可的统称,强调三者是一个连续、迭代、贯穿全生命周期的过程,而不是一次性动作。
- 认可:由权威机构或用户代表正式判定“该模型对特定用途是否可接受”。认可不是技术结论,而是基于验证与确认证据做出的管理决策,具有明确的用途限定和有效期。
需要特别强调:确认不是“证明模型绝对正确”,而是“在指定用途和可接受准则下,证据是否充分”。因此,确认结论必须绑定“用途”和“可接受准则”两个限定条件,脱离用途谈可信度没有意义。
二、可信度等级:从定性到定量的阶梯
可信度等级用于把“有多可信”从模糊描述变成可比较的刻度。常见做法是划分若干等级,例如:
- 等级 0(未评估):模型未经过任何系统性验证与确认,仅可用于演示或概念探索。
- 等级 1(定性可信):通过专家评审、代码走查、量纲检查等定性手段,确认模型结构合理,但缺少定量对比。
- 等级 2(定量可信):在代表性工况下与参考数据进行了定量对比,关键输出量的误差满足预设准则。
- 等级 3(统计可信):在参数不确定性、工况覆盖和重复试验条件下,通过统计检验(如置信区间、假设检验)证明模型输出与参考数据一致。
- 等级 4(认可可信):在等级 3 基础上,由权威机构完成正式认可,明确用途边界、限制条件和有效期。
等级划分不是目的,而是帮助评估者判断“当前证据够不够支撑目标用途”。例如,用于飞行员训练的全任务模拟器,通常要求达到等级 3 或 4;而用于早期方案筛选的工程仿真,等级 1 或 2 可能已足够。
三、主要标准体系的核心要求
不同标准体系对 VV&A 的侧重点不同,工程中常需组合使用。
| 标准 | 核心定位 | 关键要求 |
|---|---|---|
| IEEE 1516(HLA 系列) | 分布式仿真互操作与联邦开发 | 强调联邦成员之间的一致性、时间管理、对象模型(FOM/SOM)的规范描述,为多模型联合仿真提供互操作层面的可信基础。 |
| NASA-STD-7009 | 航天领域模型与仿真可信度标准 | 提出“可信度评估”的八要素:验证、确认、输入不确定性、结果不确定性、敏感性分析、数值误差、使用历史、独立评审。要求对每个要素给出证据和评级。 |
| DoD VV&A RPG | 美国国防部 VV&A 推荐实践指南 | 按生命周期阶段组织 VV&A 活动,强调“需求—概念模型—设计—实现—应用”的逐级追溯,要求建立 VV&A 计划、证据链和可追溯矩阵。 |
三者的关系可以这样理解:IEEE 1516 解决“模型之间怎么连”,NASA-STD-7009 解决“单个模型可信度怎么评”,DoD VV&A RPG 解决“整个项目生命周期怎么管”。实际工程中,往往以 DoD RPG 为流程骨架,以 NASA-STD-7009 为评估要素清单,以 IEEE 1516 为联合仿真的技术接口规范。
四、标准落地的关键:证据链与可追溯性
标准条文本身不产生可信度,可信度来自“证据链”。所谓证据链,是指从需求到结论的每一步都有可核查的记录。例如,某型无人机飞控仿真模型的可信度评估,至少应包含:
- 需求文档中明确的“用途”和“可接受准则”(如:俯仰角误差 ≤ 2°,在 0~50 m/s 速度范围内);
- 概念模型与数学方程的描述,以及代码实现与方程的一致性检查记录;
- 风洞试验或飞行试验的参考数据,及其不确定度说明;
- 仿真输出与参考数据的对比结果,包括误差统计、敏感性分析;
- 独立评审意见和认可结论,明确限制条件(如“仅适用于中低速巡航段”)。
没有证据链,即使模型输出看起来“很准”,也无法通过正式认可。反过来,证据链完整但结论是“当前等级不足”,同样是有价值的评估结果——它明确告诉决策者风险在哪里。
五、工程实践中的常见误区
第一,把验证当确认。代码跑通、量纲正确,只能说明“验证”通过,不能说明模型在真实工况下准确。第二,把确认当认可。技术团队完成对比分析,不等于权威机构已批准该模型用于特定任务。第三,忽略用途限定。同一个模型,用于训练和用于飞行控制律设计,可信度要求完全不同。第四,证据链断裂。只有最终对比报告,没有需求追溯、参考数据来源和不确定度说明,评审时无法复现结论。