3. 反问题模型评估指标设计
反问题模型与常规预测模型最大的差别在于:它的输出不是一个标签或一个数值,而是一个“场”——图像、参数分布、介质结构或源项分布。因此,单一指标几乎不可能刻画模型好坏。评估指标必须覆盖四个维度:重建误差回答“输出像不像真值”,参数误差回答“反演出的物理量准不准”,结构相似性回答“形状、边界、拓扑对不对”,分辨率与不确定性回答“模型知不知道自己哪里不确定”。本节围绕这四类指标展开,并给出与业务目标对齐的选择方法。
一、重建误差:最直接但最容易误导
重建误差衡量模型输出与参考解在观测空间或解空间中的逐点差异,常用均方误差(MSE)、相对 L2 误差和峰值信噪比(PSNR)。设参考解为 x、预测解为 x̂,相对 L2 误差定义为:
rel_L2 = ||x̂ - x||₂ / ||x||₂
MSE = (1/N) Σ (x̂ᵢ - xᵢ)²
PSNR = 10 · log₁₀(MAX² / MSE) (MAX 为像素/场值动态范围)
以二维热源反演为例:真实热源为半径 8 像素的圆形高斯分布,峰值强度 1.0;模型 A 输出的峰值位置正确但幅值偏低 15%,相对 L2 误差约 0.18;模型 B 幅值准确但边缘出现明显振铃,相对 L2 误差约 0.12。若只看 L2,会误判 B 更优,但 B 的振铃在工程上意味着虚假热源,可能引发误报警。这说明重建误差对“误差分布形态”不敏感,必须配合结构指标使用。此外,L2 对大幅值区域更敏感,若关注弱信号区域,应改用加权 L2 或对数域误差。
二、参数误差:回到物理量本身
很多反问题的最终交付物是若干物理参数,如热导率、源强、缺陷深度、波速。此时应直接在参数空间评估,而不是停留在场层面。常用指标包括绝对误差、相对误差、参数置信区间覆盖率。例如反演三个区域的热导率,真值为 (0.8, 1.2, 2.0) W/(m·K),预测为 (0.83, 1.15, 2.31),则相对误差分别为 3.8%、4.2%、15.5%。第三个区域误差显著偏大,提示该区域观测覆盖不足或先验过强。参数误差的优点是业务可解释性强——工程师关心的是“缺陷深度差了几毫米”,而不是“场误差是 0.1 还是 0.12”。
三、结构相似性:形状与边界是否可信
对于成像类反问题(如电阻抗成像、超声层析、地震偏移),目标体的形状、边界和连通性比逐点灰度更重要。结构相似性指数(SSIM)从亮度、对比度、结构三方面比较图像;交并比(IoU)和 Dice 系数用于分割式输出;豪斯多夫距离衡量边界偏差。示例:缺陷区域真值面积 120 像素,预测面积 105 像素,交集 96 像素,则 IoU = 96/(120+105−96) ≈ 0.744,Dice ≈ 0.853。若业务是“缺陷检出”,IoU 比 L2 更贴近验收标准;若业务是“边界定位精度”,则应补充豪斯多夫距离。
四、分辨率与不确定性指标
反问题普遍存在病态性,模型必须能表达“哪里可信、哪里不可信”。分辨率指标包括点扩散函数半高宽、空间分辨率极限;不确定性指标包括预测方差图、置信区间覆盖率、以及基于后验采样的可信区间宽度。实践中可要求:在 90% 置信水平下,参数真值落入区间的比例应接近 90%(覆盖率校准)。若覆盖率仅 60%,说明模型过度自信;若达 99% 但区间极宽,说明模型“什么都不敢确定”,实用性同样不足。分辨率与不确定性应联合看:高分辨率但高方差,意味着细节不可信。
五、指标选择与业务对齐案例
指标不是越多越好,而是要与验收口径一致。下面给出一个可执行的指标选择表,字段直接对应工程验收:
| 业务目标 | 主指标(阈值示例) | 辅助指标 | 不适用指标 |
|---|---|---|---|
| 缺陷检出与定位 | IoU ≥ 0.70,召回率 ≥ 0.90 | 豪斯多夫距离 ≤ 3 像素 | 全局 PSNR(掩盖局部漏检) |
| 物理参数定量 | 相对误差 ≤ 5% | 90% 区间覆盖率 0.85~0.95 | SSIM(与参数无直接关系) |
| 安全裕度评估 | 覆盖率校准误差 ≤ 0.05 | 方差图、PSF 半高宽 | 单一 MSE(无置信信息) |
以一个管道缺陷反演项目为例:业务方要求“不漏检、少误报、给出可信度”。团队最初只报告相对 L2 误差 0.09,看似优秀,但上线后误报频发。复盘发现,模型在低对比度区域产生了大量小幅虚假结构,L2 因幅值小而几乎不敏感。改进方案是:主指标改为 IoU 与虚警率,辅以不确定性方差图,并规定“方差高于阈值的区域不自动报警,转人工复核”。调整后误报率下降约四成(示例数据,用于说明方法),同时漏检率保持在可接受范围。这个案例说明:指标选择本质上是把业务风险翻译成可计算的量。
最后强调一致性:所有指标必须在同一参考解、同一坐标系、同一归一化约定下计算。若参考解本身来自仿真,应说明其离散误差;若来自实测,应说明标定精度。指标数值只有配上这些前提,才具备可比性和工程意义。