3. 代理模型选型
在贝叶斯优化辅助实验设计中，代理模型的任务不是“拟合得越准越好”，而是在有限实验预算下，用尽量少的观测点，对目标函数或约束函数给出可排序的预测与可量化的不确定性。选型时真正需要权衡的是三件事：表达力（能否刻画真实响应面）、不确定性质量（是否可信、是否可解析）、计算代价（拟合与采集函数优化的时间）。本节围绕高斯过程（GP）、随机森林（RF）、贝叶斯神经网络（BNN）三类常用代理模型展开对比，并给出可操作的选型判断。
三类代理模型的核心差异
高斯过程把函数视为随机过程，任意有限点集上的函数值服从联合高斯分布。给定核函数 k(x,x′)，后验均值和方差都有闭式解：
μ(x*) = k*ᵀ (K + σ²I)⁻¹ y
σ²(x*) = k(x*,x*) − k*ᵀ (K + σ²I)⁻¹ k*其中 K 是训练点之间的核矩阵，σ² 是观测噪声。GP 的最大优势是不确定性天然校准：远离观测点处方差自动增大，采集函数（如 EI、UCB）可以直接使用。代价是 O(n³) 的矩阵求逆，n 超过约 2000 后训练时间迅速上升；同时核函数选择（RBF、Matern、周期核）对表达力影响极大，Matern-5/2 适合光滑但非无限可微的工程响应。
随机森林通过多棵决策树对样本和特征做有放回抽样，预测取均值。它天然处理离散、类别、非平稳特征，对异常值不敏感，训练可并行，n=10⁴ 量级仍可接受。但 RF 的不确定性来自树间方差，不是概率校准的：在训练点附近方差可能偏大，在远离数据处方差不会像 GP 那样单调增大，直接用于 EI 容易导致过度探索或过早收敛。常见补救是用分位数森林或对叶节点样本做经验分布估计。
贝叶斯神经网络在权重上放先验，通过变分推断或 MC Dropout 近似后验。它表达力最强，能拟合高维、强非线性、甚至带类别输入的响应面，且可输出预测分布。但 BNN 的不确定性依赖先验和变分族的选择，校准性通常弱于 GP；训练需要多次前向采样，单次采集函数评估就要几十到上百次网络前向，计算代价介于 GP 与 RF 之间，且调参（网络深度、先验方差、学习率）成本高。
实验设计场景下的选型判断
把上述差异落到实验设计流程中，选型可以按以下顺序判断：
- 先看实验维度与样本量。若设计变量 ≤ 10 维、单轮实验点数 ≤ 200，优先 GP。此时 O(n³) 完全可接受，且 EI/UCB 可直接使用，收敛稳定。若变量含大量类别或离散水平，GP 需要 one-hot 或加性核，表达力下降，可转向 RF。
- 再看响应面光滑性。物理仿真、化学反应收率等通常连续光滑，Matern-5/2 核的 GP 表现好。若响应面存在阶跃、阈值、非平稳（如不同工况切换），RF 或 BNN 更合适。
- 最后看不确定性是否必须可信。若采集函数依赖方差做探索—利用平衡，GP 是首选；若只做排序选优、不依赖方差，RF 足够；若必须同时处理高维输入和概率输出，选 BNN，但需预留调参和采样时间。
计算代价的量化参考
以下为示例性量级参考（非实测，用于建立直觉）：在单核 CPU、n=100 时，GP 拟合约 0.05 s，RF 约 0.2 s，BNN（MC Dropout 50 次）约 1.5 s；n=1000 时，GP 约 8 s，RF 约 1.2 s，BNN 约 6 s；n=5000 时，GP 因矩阵求逆可能超过 300 s，RF 约 6 s，BNN 约 25 s。采集函数优化阶段，GP 每次评估需重新计算后验，RF 只需树遍历，BNN 需多次前向，因此 GP 的“单步优化时间”通常最高。
| 维度 | 高斯过程 GP | 随机森林 RF | 贝叶斯神经网络 BNN |
|---|---|---|---|
| 表达力 | 中，受核函数限制 | 中高，离散/非平稳友好 | 高，高维强非线性 |
| 不确定性 | 校准、可解析 | 树间方差，非校准 | 依赖先验，校准较弱 |
| 训练代价 | O(n³) | 可并行，近线性 | 采样+调参，中高 |
| 采集函数 | EI/UCB 直接可用 | 需校准后方差 | 需多次前向估计 |
| 适用场景 | ≤10 维、≤200 点、光滑响应 | 含类别、非平稳、大样本 | 高维、强非线性、概率输出 |
选型后的落地要点
选定模型后，还需固定三件事：输入标准化（GP 对尺度敏感，RF 不敏感但 BNN 需要）、输出变换（若响应跨数量级，先取对数再建模）、采集函数与模型匹配（GP 用 EI，RF 用 UCB 并对方差做分位数校准，BNN 用 Thompson Sampling 更自然）。在实验设计循环中，每轮新增 1～3 个实验点后重新拟合，GP 可增量更新，RF 和 BNN 通常全量重训。若单轮时间预算紧张，可先用 RF 做粗筛，再用 GP 在局部精细搜索，形成“粗—精”两级代理策略。