2. 反问题的不适定性与正则化思想
在贝叶斯反问题的语境里,“后验估计”之所以必要,根源在于反问题本身往往不适定。如果一个问题适定,数据足够、解唯一且连续依赖数据,那么直接求解即可,后验分布只会退化为一个尖峰。真正让贝叶斯方法大显身手的,是那些解不唯一、对噪声极度敏感的病态问题。本节先厘清 Hadamard 适定性的三条判据,再剖析病态性的来源,最后把确定性正则化与贝叶斯正则化放在同一框架下对照。
一、Hadamard 适定性的三条判据
Hadamard 提出,一个数学物理问题称为适定(well-posed),当且仅当同时满足:
- 存在性:对允许的数据,至少存在一个解;
- 唯一性:解是唯一的;
- 稳定性:解连续依赖于数据,即数据的小扰动只引起解的小扰动。
三者缺一即为不适定(ill-posed)。反问题最常违反的是稳定性,其次是唯一性。以第一类 Fredholm 积分方程为例:
d(s) = ∫ K(s,t) m(t) dt , t∈Ω , s∈Γ
其中 m 是待反演的模型参数(如介质电导率、源强度分布),d 是观测数据,K 是正演核。离散化后得到 d = Gm。若 G 的奇异值谱快速衰减,则最小奇异值对应的方向被严重压缩,数据中微小噪声在反演时被放大成巨大误差——这正是稳定性的丧失。
二、病态性的来源
病态性并非数值实现的缺陷,而是问题物理结构的反映,主要来源有三类:
(1)算子本身的光滑化效应。积分算子 K 通常把粗糙的 m 映射为光滑的 d,高频信息被衰减。反演要恢复高频,就必须放大被衰减的分量,噪声随之被放大。离散后表现为 G 的条件数 κ(G)=σ_max/σ_min 极大。
(2)数据有限与欠定。观测点 s 的数量远少于模型参数 m 的自由度,G 是宽矩阵,零空间非平凡,存在无穷多解精确拟合数据,唯一性丧失。
(3)噪声与模型误差。实际数据 d_obs = Gm_true + ε,ε 包含测量噪声与正演模型误差。反演若追求残差 ‖Gm−d_obs‖ 最小,会把 ε 也当作信号拟合,产生过拟合的振荡解。
三、确定性正则化:以先验约束换稳定
确定性正则化的核心思路是:在残差项之外加入惩罚项,把解限制在“合理”的子空间内。Tikhonov 正则化是最典型的代表:
m_λ = argmin ‖Gm − d_obs‖² + λ‖Lm‖²
解:m_λ = (GᵀG + λLᵀL)⁻¹ Gᵀ d_obs
λ>0 使矩阵可逆并改善条件数,L 常取单位阵(偏好小范数解)或一阶/二阶差分(偏好光滑解)。λ 的选择是偏差—方差权衡:λ 过大则解过度光滑、偏离真实结构;λ 过小则噪声放大。常用 L 曲线法、广义交叉验证(GCV)或 Morozov 偏差原则来定 λ。
另一类是截断奇异值分解(TSVD):直接把小于阈值的奇异值截掉,等价于在谱域做硬阈值。此外还有全变差(TV)正则化,用 ‖∇m‖₁ 替代二次惩罚,能保留块状边界,适合分层介质反演。
四、贝叶斯正则化:把惩罚项解释为先验
贝叶斯视角下,同样的目标函数有了概率含义。设噪声为零均值高斯 ε~N(0,Σ_ε),则似然为:
p(d|m) ∝ exp[ −½ (Gm−d)ᵀ Σ_ε⁻¹ (Gm−d) ]
设先验 m~N(m_0, Σ_m),则后验:
p(m|d) ∝ exp[ −½ (Gm−d)ᵀΣ_ε⁻¹(Gm−d) − ½ (m−m_0)ᵀΣ_m⁻¹(m−m_0) ]
取负对数,最大化后验(MAP)等价于最小化:
‖Gm−d‖²_{Σ_ε⁻¹} + ‖m−m_0‖²_{Σ_m⁻¹}
对比 Tikhonov 形式可见:先验协方差逆 Σ_m⁻¹ 扮演了正则化算子 LᵀL 的角色,噪声协方差逆 Σ_ε⁻¹ 则对残差做了加权。换言之,确定性正则化是贝叶斯正则化在“高斯先验 + 高斯噪声”下的点估计特例。但贝叶斯框架更进一步:它给出整个后验分布,而不仅是一个点估计,从而能定量刻画不确定性。
五、联系与区别:一张对照表
| 维度 | 确定性正则化 | 贝叶斯正则化 |
|---|---|---|
| 约束形式 | 惩罚项 λ‖Lm‖² | 先验分布 p(m) |
| 参数含义 | λ 为调节系数,需人工选取 | Σ_m、Σ_ε 有统计意义,可由数据或分层模型估计 |
| 输出 | 单点估计 m_λ | 后验分布 p(m|d) |
| 不确定性 | 通常不直接给出 | 后验协方差、可信区间自然可得 |
| 噪声处理 | 隐含在 λ 中 | 显式建模 Σ_ε,可处理异方差 |
| 关系 | 高斯先验 + 高斯噪声下,MAP 估计与加权 Tikhonov 解完全一致 | |
六、实践中的取舍
实际反演中,两者并非对立。一个常见的工程做法是:先用确定性正则化快速获得稳定解并确定合理的 λ 量级,再把该 λ 对应的惩罚算子解释为先验精度矩阵,转入贝叶斯框架做不确定性量化。例如在一维直流电阻率反演的教学示例中(参数为合理假设),取 20 个电极、模型层厚 1 m 分 15 层,正演核 G 的条件数约为 10⁶;若直接最小二乘,噪声 1% 会导致深层电阻率误差超过 300%。引入一阶差分先验(Σ_m⁻¹ 对应拉普拉斯型平滑算子)后,MAP 解的相对误差可降至 10% 量级,同时后验标准差在深部明显增大,正确反映了深部信息不足——这正是贝叶斯正则化相对确定性方法的核心增值。
总结来说:Hadamard 适定性给出了判断问题难度的标尺;病态性来源决定了我们必须引入额外信息;确定性正则化以惩罚项的形式注入这些信息,贝叶斯正则化则把它升格为概率先验,并在给出点估计的同时交付不确定性。理解这一层对应关系,是后续构建似然、选择先验、采样后验的概念基础。