2. 反问题的不适定性与正则化思想

在贝叶斯反问题的语境里,“后验估计”之所以必要,根源在于反问题本身往往不适定。如果一个问题适定,数据足够、解唯一且连续依赖数据,那么直接求解即可,后验分布只会退化为一个尖峰。真正让贝叶斯方法大显身手的,是那些解不唯一、对噪声极度敏感的病态问题。本节先厘清 Hadamard 适定性的三条判据,再剖析病态性的来源,最后把确定性正则化与贝叶斯正则化放在同一框架下对照。

一、Hadamard 适定性的三条判据

Hadamard 提出,一个数学物理问题称为适定(well-posed),当且仅当同时满足:

  • 存在性:对允许的数据,至少存在一个解;
  • 唯一性:解是唯一的;
  • 稳定性:解连续依赖于数据,即数据的小扰动只引起解的小扰动。

三者缺一即为不适定(ill-posed)。反问题最常违反的是稳定性,其次是唯一性。以第一类 Fredholm 积分方程为例:

d(s) = ∫ K(s,t) m(t) dt ,  t∈Ω ,  s∈Γ

其中 m 是待反演的模型参数(如介质电导率、源强度分布),d 是观测数据,K 是正演核。离散化后得到 d = Gm。若 G 的奇异值谱快速衰减,则最小奇异值对应的方向被严重压缩,数据中微小噪声在反演时被放大成巨大误差——这正是稳定性的丧失。

二、病态性的来源

病态性并非数值实现的缺陷,而是问题物理结构的反映,主要来源有三类:

(1)算子本身的光滑化效应。积分算子 K 通常把粗糙的 m 映射为光滑的 d,高频信息被衰减。反演要恢复高频,就必须放大被衰减的分量,噪声随之被放大。离散后表现为 G 的条件数 κ(G)=σ_max/σ_min 极大。

(2)数据有限与欠定。观测点 s 的数量远少于模型参数 m 的自由度,G 是宽矩阵,零空间非平凡,存在无穷多解精确拟合数据,唯一性丧失。

(3)噪声与模型误差。实际数据 d_obs = Gm_true + ε,ε 包含测量噪声与正演模型误差。反演若追求残差 ‖Gm−d_obs‖ 最小,会把 ε 也当作信号拟合,产生过拟合的振荡解。

判断病态程度的一个实用指标是离散 Picard 条件:把数据投影到左奇异向量上,若系数 |u_iᵀd| 的衰减速度慢于奇异值 σ_i 的衰减速度,则对应分量可被可靠恢复;反之则被噪声淹没。这为截断阶数的选择提供了依据。

三、确定性正则化:以先验约束换稳定

确定性正则化的核心思路是:在残差项之外加入惩罚项,把解限制在“合理”的子空间内。Tikhonov 正则化是最典型的代表:

m_λ = argmin ‖Gm − d_obs‖² + λ‖Lm‖²
解:m_λ = (GᵀG + λLᵀL)⁻¹ Gᵀ d_obs

λ>0 使矩阵可逆并改善条件数,L 常取单位阵(偏好小范数解)或一阶/二阶差分(偏好光滑解)。λ 的选择是偏差—方差权衡:λ 过大则解过度光滑、偏离真实结构;λ 过小则噪声放大。常用 L 曲线法、广义交叉验证(GCV)或 Morozov 偏差原则来定 λ。

另一类是截断奇异值分解(TSVD):直接把小于阈值的奇异值截掉,等价于在谱域做硬阈值。此外还有全变差(TV)正则化,用 ‖∇m‖₁ 替代二次惩罚,能保留块状边界,适合分层介质反演。

四、贝叶斯正则化:把惩罚项解释为先验

贝叶斯视角下,同样的目标函数有了概率含义。设噪声为零均值高斯 ε~N(0,Σ_ε),则似然为:

p(d|m) ∝ exp[ −½ (Gm−d)ᵀ Σ_ε⁻¹ (Gm−d) ]

设先验 m~N(m_0, Σ_m),则后验:

p(m|d) ∝ exp[ −½ (Gm−d)ᵀΣ_ε⁻¹(Gm−d) − ½ (m−m_0)ᵀΣ_m⁻¹(m−m_0) ]

取负对数,最大化后验(MAP)等价于最小化:

‖Gm−d‖²_{Σ_ε⁻¹} + ‖m−m_0‖²_{Σ_m⁻¹}

对比 Tikhonov 形式可见:先验协方差逆 Σ_m⁻¹ 扮演了正则化算子 LᵀL 的角色,噪声协方差逆 Σ_ε⁻¹ 则对残差做了加权。换言之,确定性正则化是贝叶斯正则化在“高斯先验 + 高斯噪声”下的点估计特例。但贝叶斯框架更进一步:它给出整个后验分布,而不仅是一个点估计,从而能定量刻画不确定性。

不适定性来源 → 正则化路径 → 后验估计 病态性来源 算子光滑化 高频衰减 · σ 快速下降 数据欠定 零空间非平凡 · 解不唯一 噪声与模型误差 ε 被当作信号拟合 结果:解振荡 / 发散 条件数 κ(G) 极大 确定性正则化 min ‖Gm−d‖² + λ‖Lm‖² Tikhonov / TSVD / TV λ 由 L 曲线、GCV 选取 输出:单个点估计 m_λ 偏差—方差权衡 贝叶斯正则化 p(m|d) ∝ p(d|m)·p(m) 先验 Σ_m 编码结构约束 MAP ≡ 加权 Tikhonov 输出:完整后验分布 可量化不确定性 后验估计 均值 / MAP / 中位数 可信区间 后验协方差 MCMC / 变分推断 稳定性来自先验 而非人为截断 特例 推广 确定性正则化 = 高斯先验下的 MAP 点估计;贝叶斯正则化给出分布层面的完整答案

五、联系与区别:一张对照表

维度确定性正则化贝叶斯正则化
约束形式惩罚项 λ‖Lm‖²先验分布 p(m)
参数含义λ 为调节系数,需人工选取Σ_m、Σ_ε 有统计意义,可由数据或分层模型估计
输出单点估计 m_λ后验分布 p(m|d)
不确定性通常不直接给出后验协方差、可信区间自然可得
噪声处理隐含在 λ 中显式建模 Σ_ε,可处理异方差
关系高斯先验 + 高斯噪声下,MAP 估计与加权 Tikhonov 解完全一致

六、实践中的取舍

实际反演中,两者并非对立。一个常见的工程做法是:先用确定性正则化快速获得稳定解并确定合理的 λ 量级,再把该 λ 对应的惩罚算子解释为先验精度矩阵,转入贝叶斯框架做不确定性量化。例如在一维直流电阻率反演的教学示例中(参数为合理假设),取 20 个电极、模型层厚 1 m 分 15 层,正演核 G 的条件数约为 10⁶;若直接最小二乘,噪声 1% 会导致深层电阻率误差超过 300%。引入一阶差分先验(Σ_m⁻¹ 对应拉普拉斯型平滑算子)后,MAP 解的相对误差可降至 10% 量级,同时后验标准差在深部明显增大,正确反映了深部信息不足——这正是贝叶斯正则化相对确定性方法的核心增值。

注意:正则化不是“消除”不适定性,而是用先验信息替换缺失的数据信息。若先验假设与真实结构严重不符(例如用光滑先验反演存在尖锐界面的介质),正则化会引入系统性偏差。因此先验的选择必须与物理认识一致,并通过后验预测检验或残差分析加以验证。

总结来说:Hadamard 适定性给出了判断问题难度的标尺;病态性来源决定了我们必须引入额外信息;确定性正则化以惩罚项的形式注入这些信息,贝叶斯正则化则把它升格为概率先验,并在给出点估计的同时交付不确定性。理解这一层对应关系,是后续构建似然、选择先验、采样后验的概念基础。