4. 高斯过程回归与核函数

高斯过程回归（Gaussian Process Regression, GPR）是科学代理模型中最具"统计味"的一类方法。它不给出一个确定的拟合函数，而是给出一个函数上的概率分布：任意一组输入点上的函数值服从联合高斯分布。这一性质使 GPR 天然具备两点优势——小样本下的平滑插值能力，以及逐点可量化的预测不确定性。本节围绕均值函数、协方差函数与核函数、超参数优化、不确定性量化、计算复杂度与稀疏近似展开。

均值函数与协方差函数：GPR 的两个支柱

一个高斯过程写作 f(x) ~ GP(m(x), k(x, x′))。均值函数 m(x) 表达在没有任何观测时对函数的先验判断，工程上常取零或一个简单的线性/常数趋势；协方差函数 k(x, x′) 则决定函数的平滑程度、变化尺度与相关性结构，是 GPR 建模的核心。给定训练集 (X, y)，加入观测噪声 σ_n² 后，预测分布为

μ* = m(X*) + K(X*, X) [K(X, X) + σn² I]⁻¹ (y − m(X))
σ*² = k(X*, X*) − K(X*, X) [K(X, X) + σn² I]⁻¹ K(X, X*)

其中 K(X, X) 是训练点之间的协方差矩阵。均值函数决定"往哪走"，协方差函数决定"怎么弯"以及"哪里不确定"。在科学代理模型中，若已知物理趋势（如单调、饱和），把趋势放进均值函数往往比强行用核函数拟合更省样本。

核函数选择：把先验知识写进协方差

核函数是 GPR 表达先验假设的语言。平方指数核（RBF）假设函数无限可微、非常平滑；Matérn 核通过参数 ν 控制平滑度，ν=5/2 或 3/2 更贴近含噪、有拐点的工程响应；周期核用于捕捉季节性；线性核表达线性趋势。实际建模中常用组合核，例如

k(x, x′) = σf² · exp(−‖x − x′‖² / (2ℓ²)) + σn² · δ(x, x′)

其中 σ_f² 是信号方差，ℓ 是长度尺度，δ 为 Kronecker 函数。长度尺度 ℓ 的物理含义是"函数在多远距离上仍显著相关"：ℓ 过小导致过拟合与剧烈振荡，ℓ 过大则欠拟合、把真实变化抹平。对多维输入，可为每个维度设置独立长度尺度（ARD），从而自动识别不敏感维度——这在科学代理模型中常被用作敏感性分析的副产品。

超参数优化：最大化边际似然

核函数的超参数 θ = {σ_f, ℓ, σ_n} 通常通过最大化对数边际似然确定：

log p(y|X, θ) = −½ yᵀ(K + σn²I)⁻¹y − ½ log|K + σn²I| − (n/2) log 2π

第一项奖励对数据的拟合，第二项惩罚模型复杂度，第三项为常数。这种"自动奥卡姆剃刀"使 GPR 不易过拟合。实践中用梯度下降（如 L-BFGS）在 log 空间优化 ℓ 与 σ_n，避免负值。需要注意：边际似然可能多峰，建议用多个初值重启；若数据量较大，可先固定噪声、再联合优化。示例中若取 ℓ=0.3、σ_f=1.0、σ_n=0.05，优化后 ℓ 明显增大，往往提示数据比预想更平滑。

预测不确定性量化

GPR 的预测方差 σ*² 随预测点远离训练数据而增大，回到训练点附近则收缩至噪声水平。这一性质可直接用于主动学习与实验设计：在 σ*² 最大的位置补充采样，能以最少样本降低整体不确定性。工程上常把 μ* ± 2σ* 作为 95% 置信带，用于判断代理模型在何处可信、何处需要加密。需要注意，σ*² 只反映模型自身假设下的不确定性，若核函数选择不当，置信带会"自信地错"，因此应结合留出验证或交叉验证检查校准性。

计算复杂度与稀疏近似

GPR 的核心开销来自对 n×n 协方差矩阵求逆，时间复杂度 O(n³)、存储 O(n²)。当样本数超过数千时，精确 GPR 变得昂贵。常用近似包括：稀疏 GPR（选取 m 个诱导点，复杂度降至 O(nm²)）；Nyström 近似（用低秩矩阵逼近 K）；以及局部 GPR（对每个预测点只用邻域样本）。选择时应权衡精度与规模：m 通常取 n 的 5%～20%，并监控近似前后的预测方差差异。

上图直观呈现了 GPR 的核心行为：在训练点附近置信带收窄，在数据稀疏或外推区域置信带张开。这正是 GPR 区别于普通回归代理模型的价值所在——它不仅回答"预测值是多少"，还回答"这个预测有多可信"。

综上，GPR 的建模流程可概括为：确定均值先验 → 选择并组合核函数 → 最大化边际似然优化超参数 → 用预测均值与方差同时输出结果 → 依据规模选择精确或稀疏求解。核函数与超参数决定了模型"相信什么"，而预测方差则把这种信念的可靠程度显式地交给使用者，使科学代理模型从"给一个数"升级为"给一个带误差条的判断"。