3. 代理模型核心类型与选择依据

代理模型(Surrogate Model)的任务,是用一个计算代价极低的近似函数替代昂贵的仿真或实验,从而支撑优化、敏感性分析、不确定性量化等需要大量重复评估的场景。选型时真正要回答的问题不是“哪个模型最先进”,而是“在样本量、输入维度、光滑性、可解释性和计算预算的约束下,哪个模型能以可接受的成本达到所需精度”。本节围绕六类常用代理模型展开:多项式回归、径向基函数、高斯过程、神经网络、支持向量回归和物理信息神经网络,并从适用条件、计算成本与精度权衡三个维度建立选择依据。

六类模型的能力画像

多项式回归是最基础的参数化代理。它假设响应可由输入的多项式基函数线性组合表示,例如二阶完全多项式在 d 维输入下包含 1+d+d(d+1)/2 个待定系数。其优点是训练只需一次最小二乘求解,成本极低、系数可解释、外推行为可预期;缺点是难以刻画强非线性与局部剧烈变化,高阶多项式还容易在样本稀疏区出现振荡(龙格现象)。它适合响应整体平滑、维度不高、样本较少且需要快速给出趋势判断的场合,常作为基线模型。

径向基函数(RBF)以样本点为中心构造核函数(如高斯核 exp(−ε‖x−x_i‖²)、多二次核等),通过线性组合逼近响应。它插值能力强、实现简单,对中等维度的光滑响应表现良好;但核宽度 ε 与正则化参数对结果影响显著,样本分布不均时容易出现病态矩阵,外推能力弱。RBF 适合样本较密集、响应连续光滑的插值型任务。

高斯过程(GP)是贝叶斯非参数方法,它不仅给出预测均值,还给出预测方差,天然提供不确定性估计。这让 GP 成为主动学习与贝叶斯优化的首选:可以用方差指导下一个采样点。其代价是训练需对 n×n 协方差矩阵求逆,复杂度约 O(n³),样本量增大时成本迅速上升,通常适用于数百到数千样本规模。核函数选择(平方指数核、Matérn 核等)决定了对光滑性的假设。

神经网络(如多层感知机)通过多层非线性变换拟合复杂映射,表达能力强,可处理高维、强非线性甚至不连续响应,训练完成后单次推理极快。但它通常需要较多样本,训练涉及超参数(层数、宽度、学习率、正则化)调优,且不直接提供不确定性。它适合样本充足、响应复杂、对推理速度要求高的场景。

支持向量回归(SVR)基于 ε-不敏感损失与核技巧,追求在容忍带内的平坦拟合,对异常值较稳健,小样本下泛化能力往往不错。其性能高度依赖核参数与惩罚系数 C 的选取,样本量很大时训练成本较高,且同样不直接给出不确定性。

物理信息神经网络(PINN)在损失函数中同时加入数据项与物理方程残差项(如 PDE 残差、边界条件),使网络在样本稀少时仍受物理规律约束。它特别适合数据获取昂贵、但控制方程已知的工程问题。代价是训练难度大、收敛慢,需要平衡数据损失与物理损失的权重,调参经验性强。

代理模型选型:样本量—非线性能力—计算成本 横轴:所需样本量(少 → 多) 纵轴:可表达的非线性复杂度(低 → 高) 样本量 → 非线性 ↑ 多项式 回归 成本极低·可解释 径向基 函数 插值强·外推弱 高斯 过程 带不确定性·O(n³) 支持向量 回归 抗噪·核参数敏感 神经 网络 表达强·需多样本 物理信息 神经网络 少样本·训练难 选型原则:先满足精度与不确定性需求,再在可承受的样本量与训练成本内取最简模型

成本与精度的权衡逻辑

上图的定位只是粗略画像,实际选型需要把“成本”拆成三部分看:采样成本(获得每个训练样本需要多少次昂贵仿真)、训练成本(拟合模型本身的时间与调参代价)、推理成本(部署后单次预测的开销)。多项式回归与 RBF 的训练成本几乎可以忽略,GP 随样本量立方增长,神经网络与 PINN 的训练成本取决于网络规模与迭代次数,但推理都很快。若优化循环需要上万次评估,推理成本低的模型更有优势;若样本获取极贵,则应优先考虑样本效率高的 GP 或引入物理约束的 PINN。

精度方面要区分插值精度与泛化精度。RBF 和 GP 在样本点附近插值精度高,但外推到训练域外时可能迅速失真;多项式回归外推形式可预期但可能系统性偏离;神经网络在训练域内精度高,域外行为不可控。工程上常用留一交叉验证或独立测试集上的均方根误差(RMSE)与决定系数 R² 来量化,并配合残差分布检查是否存在系统性偏差。

一个可操作的选型示例

设某翼型气动代理任务:输入为攻角与马赫数(2 维),输出为升力系数,单次 CFD 计算约 40 分钟,预算允许 60 个样本。此时样本量小、维度低、响应随攻角变化较光滑,GP 是合理首选:60 个样本的协方差矩阵求逆耗时可忽略,且预测方差可指导在攻角接近失速的陡变区追加采样。若后续把输入扩展到 12 维几何参数、样本增至 2000 个,GP 的 O(n³) 成本开始吃紧,可改用神经网络或 RBF 加正则化;若该问题已有可用的势流方程或简化 PDE,则 PINN 能在样本更少时借助物理残差约束提升泛化。

选型检查清单:① 响应是否光滑、是否存在间断或陡变;② 输入维度与可用样本量;③ 是否需要预测不确定性;④ 是否需要外推;⑤ 训练与推理的时间预算;⑥ 是否已知控制方程可嵌入。六项中若“需要不确定性”和“样本极少”同时成立,优先评估 GP;若“已知方程且样本极贵”,优先评估 PINN。

需要强调的是,模型选择不是一次性的。实践中常先用多项式回归建立基线,观察残差结构:若残差呈明显非线性模式,再升级到 GP 或 RBF;若残差在局部区域集中,说明需要自适应采样或改用表达能力更强的模型。把选型看作“基线—诊断—升级”的迭代过程,比一次性押注某个模型更稳健。