3. 协方差函数（核函数）详解

高斯过程代理模型的一切“智能”都藏在协方差函数里。均值函数通常取常数或零，真正决定预测形状、光滑程度、周期性与外推行为的，是协方差函数 k(x, x')。它定义了任意两点输出之间的相关性：距离越近、越相似，协方差越大；距离越远，协方差越小。因此，选核函数本质上是在为待拟合的仿真响应“假设一种形状先验”。本节围绕平方指数核、Matérn 核、周期核、线性核，以及核函数组合、特征长度尺度与信号方差展开。

一、从协方差到核矩阵

给定 n 个训练输入 X = [x₁, …, xₙ]，核函数生成一个 n×n 的核矩阵 K，其中 Kᵢⱼ = k(xᵢ, xⱼ)。这个矩阵必须对称半正定，否则无法构成合法的高斯过程。预测时，新点 x* 与训练点的协方差向量 k* 通过 K⁻¹ 加权，得到后验均值与方差。所以核函数不仅影响“像不像”，还直接影响数值稳定性——核矩阵条件数过大时，需要加入噪声项 σₙ²I 或做 Cholesky 分解。

二、四种基础核函数

平方指数核（SE，又称 RBF 核）是最常用的核：

k_SE(r) = σ_f² · exp( -r² / (2ℓ²) ),  r = |x - x'|

它产生的样本路径无限可微，非常光滑，适合拟合平滑的仿真响应，如结构位移、温度场。缺点是过于光滑，对真实工程中常见的“拐点、突变、局部粗糙”会过度平滑，且外推时迅速回归均值。

Matérn 核通过平滑参数 ν 控制可微性，常用 ν = 3/2 和 ν = 5/2：

k_ν=3/2(r) = σ_f² (1 + √3 r/ℓ) exp(-√3 r/ℓ)
k_ν=5/2(r) = σ_f² (1 + √5 r/ℓ + 5r²/(3ℓ²)) exp(-√5 r/ℓ)

ν = 1/2 时退化为指数核（Ornstein-Uhlenbeck），样本路径连续但不可微；ν 越大越光滑，ν → ∞ 趋近 SE 核。工程仿真中 ν = 5/2 往往是稳健默认值，兼顾光滑性与局部适应性。

周期核用于捕捉重复模式：

k_per(r) = σ_f² · exp( -2 sin²(π r / p) / ℓ² )

其中 p 是周期。它适合振动、旋转机械、周期性载荷等响应。注意周期核单独使用会强制全局周期，通常与 SE 或 Matérn 相乘，形成“准周期”核。

线性核：

k_lin(x, x') = σ_f² · xᵀx'

它等价于贝叶斯线性回归，样本路径是直线，适合趋势明显、近似线性的响应，也常用于趋势项叠加。

三、核函数组合与性质

单一核往往不足以描述复杂仿真响应，组合是常规手段。核函数对加法与乘法封闭：

• 加法 k₁ + k₂：方差叠加，各成分独立贡献。例如 k_SE + k_lin 可同时表达“整体线性趋势 + 局部平滑波动”，常用于响应随设计变量单调变化但存在局部起伏的场景。
• 乘法 k₁ × k₂：调制振幅或局部化。例如 k_SE × k_per 得到准周期核，周期成分的振幅随距离衰减，适合“周期性但非严格重复”的响应。
• 缩放 a·k：调整信号方差，不改变形状。

组合后仍需保证半正定性：加法、乘法、正缩放、逐点极限都保持半正定，因此可以放心构造。但组合越多，超参数越多，优化越容易陷入局部最优，建议从 2～3 个成分起步。

四、特征长度尺度与信号方差

超参数中最重要的两个是 ℓ 和 σ_f²。

特征长度尺度 ℓ控制相关性随距离衰减的速度。ℓ 大，函数变化缓慢、更平滑，但可能欠拟合局部细节；ℓ 小，函数变化剧烈、更灵活，但容易过拟合噪声。在多维输入中，每个维度可设独立 ℓ_d，形成 ARD（自动相关性判定）：ℓ_d 大的维度说明该变量对输出影响平缓，ℓ_d 小的维度说明输出对其敏感。ARD 因此可作为一种免费的敏感性分析。

信号方差 σ_f²控制函数偏离均值的幅度，即先验的“垂直尺度”。它不改变形状，只改变纵轴缩放。若 σ_f² 过小，模型被压平；过大则先验过于宽松，需要更多数据约束。

实践中，超参数通过最大化对数边际似然（LML）学习：

log p(y|X,θ) = -½ yᵀ(K+σₙ²I)⁻¹y - ½ log|K+σₙ²I| - n/2 log(2π)

第一项奖励拟合，第二项惩罚复杂度，第三项为归一化常数。对 ℓ 和 σ_f² 求偏导即可用梯度上升优化。典型初值可取 ℓ 为输入范围的 1/4～1/2，σ_f² 为输出方差，σₙ² 为输出方差的 1%～10%。

五、选择建议