4. 代理模型选型与实验优化场景匹配

代理模型是实验优化的“替身”：它用少量已做实验的数据，近似真实的响应函数，从而让优化算法在不做真实实验的情况下大量试探候选点。但不同代理模型对数据形态的假设差别很大，选错模型往往不是“效果差一点”，而是优化方向被系统性带偏。本节围绕高斯过程、随机森林、梯度提升树、神经网络和贝叶斯神经网络五类模型，从样本量、输入维度、噪声水平和可解释性需求四个维度建立选型判断。

五类模型的核心假设与代价

高斯过程（GP）把响应函数视为随机过程的一次采样，用核函数刻画“相近输入产生相近输出”。它的最大优势是天然给出预测均值与方差，采集函数（如EI、UCB）可直接使用，因此在小样本（约10～50个实验点）、低维（≤10维）、噪声可控的场景中通常是首选。代价是计算复杂度随样本量约以 O(n³) 增长，且核函数与超参数的先验选择对结果影响明显。

随机森林（RF）通过自助采样与特征随机化构建多棵决策树并取平均，对噪声和异常点较稳健，几乎不需要特征缩放，能处理混合类型变量。它适合样本量中等（50～500）、维度中等偏高、响应面存在分段或非平稳特征的场景。缺点是外推能力弱——树模型在训练数据范围之外基本输出常数，且不确定性估计依赖树间方差，可靠性不如GP。

梯度提升树（GBDT）串行拟合残差，通常在中等样本量下给出比RF更高的拟合精度，尤其适合存在强交互效应、响应面有尖锐变化的场景。但它对噪声更敏感，容易过拟合，且超参数（学习率、树深、迭代轮数）需要调优。在实验优化中，GBDT更适合作为“精修阶段”的模型，而非冷启动阶段的主力。

神经网络（NN）在样本量充足（通常上千）、维度高（数十至上百维）、响应面光滑但复杂的场景中表现突出，例如工艺参数与配方联合优化。它的短板是：小样本下极易过拟合，且不直接提供不确定性，需要额外机制（集成、Dropout）才能用于贝叶斯优化。

贝叶斯神经网络（BNN）在NN基础上对权重引入分布，通过变分推断或MC Dropout近似后验，从而同时输出预测与不确定性。它适合高维、大样本、且需要不确定性驱动探索的场景，但训练成本高、调参复杂，通常在GP因维度或样本量受限时才考虑。

四维条件如何影响选择

样本量是第一道分水岭。当实验预算只允许做20～40次时，GP的核平滑假设相当于一种强正则，能在小样本下稳定给出合理预测；RF和GBDT在20个点下容易把噪声当信号；NN几乎无法训练。当样本量达到200以上，树模型和NN开始显现优势，GP的O(n³)计算则逐渐成为瓶颈。

维度决定模型能否有效利用数据。GP在10维以内表现良好，超过20维后，常用核函数（RBF、Matern）的距离度量趋于均匀，模型退化。RF和GBDT通过特征分裂天然适应中高维，但维度超过50后需要配合特征筛选。NN和BNN在高维下最有潜力，但需要足够样本支撑。

噪声水平直接影响模型对“波动”的容忍度。实验噪声高（如重复实验标准差达到均值的5%～10%）时，GP通过噪声项建模可区分信号与噪声；RF的bagging机制也较稳健；GBDT和NN则容易拟合噪声，需要早停、正则化或更多重复实验。若噪声极高且无法降低，应优先考虑RF或对响应做平滑预处理。

可解释性需求是常被忽略但很关键的一维。如果实验目标不仅是找最优，还要理解“哪个参数在起作用、如何起作用”，GP的核长度尺度、RF/GBDT的特征重要性与SHAP值都能提供线索；NN和BNN则基本是黑箱。在工艺机理分析场景中，可解释性需求高时，应优先GP或树模型，而非盲目追求拟合精度。

一个可执行的选型判断示例

假设某化学实验有6个连续参数（温度、pH、浓度、搅拌速率、反应时间、催化剂用量），预算允许做30次实验，响应为目标产率，重复实验标准差约为均值的4%，且团队希望知道哪些参数最关键。按四维条件判断：n=30偏小，d=6偏低，噪声中等，可解释性需求高。此时GP是首选：它能用30个点建立平滑响应面，给出预测方差指导下一步采样，核长度尺度还能反映各参数的影响尺度。若后续追加到150次实验，可切换到GBDT做精修，并用SHAP输出特征重要性，兼顾精度与解释。

选型检查清单

实际选型时，建议先用GP或RF建立基线，记录交叉验证的预测误差与不确定性校准情况，再根据样本增长和优化阶段决定是否切换。模型切换后应重新评估采集函数的表现，避免因不确定性估计偏差导致采样点集中在错误区域。