4、贝叶斯深度学习基础：贝叶斯定理、先验/后验分布、变分推断、蒙特卡洛采样、马尔可夫链蒙特卡洛

贝叶斯深度学习（Bayesian Deep Learning）并非简单地将神经网络与贝叶斯公式叠加，而是从认识论层面重新定义了模型参数的“不确定性”。在PINN（物理信息神经网络）的语境下，我们不仅要拟合偏微分方程的残差，还要回答一个更深刻的问题：在有限、含噪的观测数据下，我们对解场的估计有多大的置信度？ 本章作为贝叶斯PINN不确定性量化的基石，将系统梳理贝叶斯推断的核心数学框架、近似计算手段以及采样策略，为后续将不确定性嵌入PINN损失函数奠定方法论基础。

4.1 核心原理：从贝叶斯定理到后验分布

贝叶斯深度学习的出发点是将神经网络权重 θ 视为随机变量。给定训练数据集 D = {(xᵢ, yᵢ)}，贝叶斯定理给出了参数的后验分布：

P(θ|D) = P(D|θ) · P(θ) / P(D)
       ∝ P(D|θ) · P(θ)

其中 P(θ) 为先验分布，编码了我们在看到数据之前对参数的信念；P(D|θ) 为似然函数，在回归任务中通常假设高斯噪声，即 P(D|θ) = ∏ᵢ N(yᵢ; f_θ(xᵢ), σ²)；P(D) 为边际似然（证据），是一个与 θ 无关的归一化常数。在PINN场景中，先验不仅包含参数的正则化约束，还可以通过物理方程残差引入软约束，例如将 PDE 残差作为先验能量项的一部分。

后验分布 P(θ|D) 是贝叶斯推断的完整解。它给出了参数在观测数据下的所有可能取值及其概率密度。有了后验，我们可以计算预测分布：

P(y*|x*, D) = ∫ P(y*|x*, θ) · P(θ|D) dθ

这个积分正是不确定性量化的数学根源——它综合了所有可能的参数配置，而不是像点估计那样只依赖单一最优参数。然而，对于深度神经网络，这个积分没有解析解，且维度极高（动辄百万级参数），因此必须借助近似方法。

4.2 先验与后验：如何选择与解释

先验分布的选择直接影响后验的形状和推断结果。在贝叶斯PINN中，先验通常包含两类信息：

后验分布的解释需要谨慎。后验的均值可以作为点估计的替代，但更重要的是后验的方差——它反映了参数估计的不确定性。在PINN中，如果某个区域的后验方差很大，说明该区域的解场对数据或物理约束不敏感，需要补充观测点或加强物理约束。

4.3 变分推断：用优化替代积分

变分推断（Variational Inference, VI）的核心思想是：用一个参数化的分布族 q_φ(θ) 去逼近真实后验 P(θ|D)，通过最小化两个分布之间的 KL 散度来实现。由于 KL 散度直接计算需要后验归一化常数，实际优化目标是证据下界（ELBO）：

ELBO(φ) = E_{q_φ(θ)}[log P(D|θ)] - KL[q_φ(θ) || P(θ)]

ELBO 的第一项是期望对数似然，鼓励模型拟合数据；第二项是负的 KL 散度，鼓励近似分布接近先验。最大化 ELBO 等价于最小化 KL(q_φ || P(θ|D))。在深度学习中，最常用的变分族是均值场高斯分布：q_φ(θ) = ∏ᵢ N(θᵢ; μᵢ, σᵢ²)，其中 φ = {μᵢ, σᵢ²} 为变分参数。

实际操作中，ELBO 的期望项通过蒙特卡洛采样估计，并使用重参数化技巧（Reparameterization Trick）保持梯度传播：

θ = μ + σ ⊙ ε,  ε ~ N(0, I)
∇_φ ELBO ≈ (1/M) Σ_{m=1}^M ∇_φ log P(D|θ^(m)) - ∇_φ KL[q_φ || P]

这种“贝叶斯神经网络”的训练方式称为 Bayes by Backprop。在PINN中，变分推断的额外优势在于：我们可以将 PDE 残差作为额外的似然项或先验项纳入 ELBO，从而在优化过程中同时考虑数据拟合和物理一致性。

4.4 蒙特卡洛采样与马尔可夫链蒙特卡洛

蒙特卡洛（Monte Carlo, MC）方法通过从目标分布中抽取大量样本，用样本均值近似期望。在贝叶斯推断中，MC 方法直接用于估计后验统计量：

E_{P(θ|D)}[f(θ)] ≈ (1/N) Σ_{n=1}^N f(θ^(n)),  θ^(n) ~ P(θ|D)

然而，直接从后验采样通常不可行，因为后验的归一化常数未知且高维分布复杂。马尔可夫链蒙特卡洛（MCMC）方法通过构造一条马尔可夫链，使其平稳分布恰好为目标后验分布，从而间接实现采样。最基础的 Metropolis-Hastings (MH) 算法流程如下：

1. 初始化：选择初始参数 θ⁰，设定提议分布 q(θ'|θ)（如高斯随机游走）。
2. 提议：从 q(θ'|θᵗ) 中抽取候选样本 θ'。
3. 接受/拒绝：计算接受概率 α = min(1, [P(θ'|D)·q(θᵗ|θ')] / [P(θᵗ|D)·q(θ'|θᵗ)])，以概率 α 接受 θ'，否则保持 θᵗ。
4. 迭代：重复步骤 2-3 直到链收敛，丢弃前 B 个样本（burn-in），用剩余样本估计后验统计量。

对于高维参数空间，MH 算法的随机游走效率极低。Hamiltonian Monte Carlo (HMC) 利用梯度信息模拟哈密顿动力学，可以大幅提高采样效率。No-U-Turn Sampler (NUTS) 是 HMC 的自动调参版本，在 PyMC、Stan 等概率编程框架中广泛使用。在贝叶斯PINN中，由于参数维度通常较高（数万至数百万），全量 MCMC 的计算代价往往不可接受，因此实践中常采用以下折中策略：

• 子采样 MCMC：每次迭代只使用小批量数据计算似然，引入随机梯度噪声。
• 随机梯度 Langevin 动力学 (SGLD)：在 SGD 更新中加入高斯噪声，使得参数轨迹收敛到后验分布。
• 变分 + MCMC 混合：先用 VI 得到近似后验作为提议分布，再用 MCMC 做精修。

4.5 案例拆解：一维热传导方程的贝叶斯PINN

考虑一维稳态热传导方程：d²u/dx² = f(x)，边界条件 u(0)=0, u(1)=1。我们假设真实解为 u(x) = x³，源项 f(x) = 6x。在 x = [0.2, 0.4, 0.6, 0.8] 四个位置添加含噪观测数据（σ=0.05），目标是使用贝叶斯PINN估计解场并量化不确定性。

模型设置： 使用一个 3 层全连接网络（隐藏层 20 个神经元，tanh 激活）。先验选择标准高斯 N(0, 1)。似然假设高斯噪声，噪声方差 σ² 作为未知超参数，赋予 Inverse-Gamma 先验。物理约束通过将 PDE 残差 r(x) = d²u_θ/dx² - 6x 作为额外的似然项加入，残差方差 τ² 也作为未知量。

训练过程： 采用变分推断，ELBO 包含三项：数据似然期望、PDE 残差似然期望、KL 散度。使用 Adam 优化器，学习率 0.01，训练 5000 步。变分参数初始化为确定性训练结果附近。

结果对比：

分析： 贝叶斯PINN在数据稀疏区域给出了更宽的置信区间，正确反映了信息不足带来的不确定性。HMC 的区间略宽于 VI，说明均值场假设略微低估了后验方差。确定性PINN无法提供任何不确定性信息，在安全关键应用中存在风险。

4.6 常见误区与总结复盘

误区一：将 Dropout 视为真正的贝叶斯推断。 MC Dropout 虽然可以近似不确定性，但它等价于一种特殊的变分推断，其近似分布族受限且没有显式的先验控制。在PINN中，MC Dropout 无法自然地融入 PDE 残差约束，因此不推荐作为主要的不确定性量化手段。

误区二：忽视先验敏感性分析。 后验分布对先验的选择并非总是不敏感。当数据量少或信噪比低时，先验的强度会显著影响后验的宽度。建议对先验的超参数（如高斯先验的方差）进行敏感性分析，绘制后验均值/方差随先验强度变化的轨迹图。

误区三：混淆认知不确定性与偶然不确定性。 认知不确定性（Epistemic）来自参数估计的不确定性，可以通过增加数据或物理约束来降低；偶然不确定性（Aleatoric）来自数据本身的噪声，无法通过增加数据消除。在贝叶斯PINN中，两者通过不同的方差项体现：参数后验方差对应认知不确定性，似然噪声方差对应偶然不确定性。混淆两者会导致错误的主动学习策略。

总结： 贝叶斯深度学习为PINN提供了严谨的不确定性量化框架。核心链路为：贝叶斯定理定义后验 → 变分推断或MCMC近似后验 → 预测分布整合参数不确定性 → 分解认知/偶然不确定性。在实际工程中，应根据问题规模、计算预算和精度要求选择合适的近似方法。对于中小规模PINN，HMC/NUTS 可以提供黄金标准的不确定性估计；对于大规模问题，VI 及其变体（如 Bayes by Backprop、MC Dropout）是更务实的选择。下一阶段，我们将把这些方法嵌入PINN的损失函数设计中，实现物理场预测与置信区间的联合输出。