4. 高斯过程回归的预测与不确定性
高斯过程回归（GPR）真正区别于普通回归模型的地方，不只是给出一个预测值，而是对每个预测点同时给出一个“置信程度”。在仿真优化中，这意味着我们不仅知道代理模型预测响应是多少，还能知道这个预测有多可信，从而决定下一步该在哪里补采样。本节围绕后验预测分布的推导、均值与方差的计算、超参数优化以及数值稳定性四个核心问题展开。
一、从先验到后验：预测分布是怎么来的
设训练输入为 \(X=[x_1,\dots,x_n]\)，观测值为 \(y\)，测试点为 \(x_*\)。高斯过程假设任意有限个点的函数值服从联合高斯分布。在观测含独立高斯噪声 \(\varepsilon\sim\mathcal N(0,\sigma_n^2)\) 的假设下，训练点与测试点的联合分布为：
[ y ] ~ N( 0, [ K(X,X)+σ²I K(X,x*) ]
[ f(x*) ] [ K(x*,X) K(x*,x*) ] )其中 \(K(X,X)\) 是训练点之间的协方差矩阵，\(K(X,x_*)\) 是训练点与测试点的协方差向量，\(K(x_*,x_*)\) 是测试点自身的先验方差。利用高斯分布的条件分布公式，可以得到后验预测分布：
f(x*) | X, y, x* ~ N( μ*, σ*² )
μ* = K(x*,X) [K(X,X)+σ²I]⁻¹ y
σ*² = K(x*,x*) − K(x*,X) [K(X,X)+σ²I]⁻¹ K(X,x*)均值 \(\mu_*\) 是训练观测值的线性组合，权重由测试点与训练点的协方差决定；方差 \(\sigma_*^2\) 则与观测值无关，只取决于输入点的位置和核函数。这一点非常关键：不确定性由输入空间的几何结构决定，而不是由观测值的大小决定。离训练点越远，协方差越小，方差越大，模型越“不确定”。
二、均值与方差的直观理解
均值项可以理解为“用训练点的观测值做加权平均”，权重是测试点与各训练点的协方差。如果测试点靠近某个训练点，该训练点的权重就大，预测值接近该点的观测值；如果测试点远离所有训练点，权重趋于零，均值回落到先验均值（通常为 0）。
方差项则是一个“减法”：先验方差减去已观测信息带来的方差缩减。在训练点附近，缩减量大，后验方差小；在远离训练点的区域，缩减量小，后验方差接近先验方差。因此，GPR 的方差图往往呈现“在数据点处凹陷、在空白区域隆起”的形态，这正是主动学习选择下一个采样点的依据。
三、超参数优化：边际似然最大化
核函数的超参数（如长度尺度 \(\ell\)、信号方差 \(\sigma_f^2\)、噪声方差 \(\sigma_n^2\)）决定了模型的形状和不确定性分布。这些参数不能靠人工试凑，而应通过最大化边际似然来学习。边际似然是观测数据在超参数下的概率密度：
log p(y | X, θ) = −½ yᵀ (K+σ²I)⁻¹ y
− ½ log|K+σ²I|
− (n/2) log(2π)这个表达式由三项组成：第一项是数据拟合项，鼓励模型解释观测；第二项是复杂度惩罚项，抑制过大的协方差矩阵行列式；第三项是归一化常数。最大化边际似然等价于在“拟合数据”和“保持模型简单”之间寻找平衡，因此天然具有防止过拟合的作用。
实际实现中，通常对超参数取对数后使用梯度上升或 L-BFGS 等无约束优化算法。以常用的平方指数核为例，需要计算边际似然对 \(\ell\)、\(\sigma_f^2\)、\(\sigma_n^2\) 的偏导数，这些导数可以通过矩阵求逆和迹运算高效获得。一个典型的优化流程是：初始化超参数（如 \(\ell=1\)、\(\sigma_f^2=1\)、\(\sigma_n^2=0.01\)），计算边际似然及其梯度，更新参数，重复直到收敛。收敛后得到的超参数即为当前数据下的最优选择。
四、数值稳定性：Cholesky 分解与抖动项
GPR 的计算瓶颈在于求解 \((K+\sigma_n^2 I)^{-1}y\) 和计算 \(\log|K+\sigma_n^2 I|\)。直接求逆在数值上不稳定，标准做法是使用 Cholesky 分解：
K + σ²I = L Lᵀ
α = Lᵀ \ (L \ y)
log|K+σ²I| = 2 Σ log L_ii其中 \(L\) 是下三角矩阵。Cholesky 分解要求矩阵正定，但实际中由于浮点误差或核函数参数不当，\(K+\sigma_n^2 I\) 可能接近奇异或出现负特征值，导致分解失败。解决方法是在对角线上加入一个小的“抖动项”（jitter）：
K + σ²I + εI, ε ≈ 1e-6 ~ 1e-8抖动项的大小需要权衡：太小不足以稳定分解，太大则引入额外噪声、影响预测精度。实践中可以先尝试 \(\varepsilon=10^{-6}\)，若分解仍失败则逐步增大到 \(10^{-5}\)、\(10^{-4}\)。此外，在优化超参数时，若某组参数导致矩阵不正定，可以直接返回一个很大的负边际似然值，让优化器自动远离该区域。
五、小结与工程判断
后验预测分布给出了均值和方差两个输出，均值用于预测，方差用于量化不确定性。超参数通过边际似然最大化自动学习，避免了人工调参。数值稳定性则依赖 Cholesky 分解和抖动项来保证。在仿真优化中，一个常见的判断依据是：如果某区域的预测方差远大于其他区域，说明该区域缺乏数据，应优先补采样；如果方差普遍很小但预测误差仍大，则可能是核函数或超参数设置不合理，需要重新审视模型假设。