4. 常见先验模型及其性质
在贝叶斯反问题中,先验不是“随手加的正则项”,而是对未知量结构的事前信念。它直接决定后验的形状、估计器的行为以及不确定性量化的可信度。本节围绕五类最常用的先验展开:高斯先验、平滑先验、稀疏先验、全变差先验与层级先验,重点说明它们的数学表达、几何直觉与适用场景,并给出可操作的参数选择思路。
先统一记号。设未知量为 x ∈ R^n,观测模型为 y = A x + ε,噪声 ε ~ N(0, Γ_noise)。后验密度满足 p(x|y) ∝ exp(-½‖y-Ax‖²_Γnoise) · p(x)。因此先验 p(x) 的对数形式 -log p(x) 就是后验能量中的正则项,先验的“形状”决定了估计器偏好什么样的解。
一、高斯先验:最基础也最常用的连续先验
高斯先验写作 x ~ N(m, C_pr),其负对数为 ½(x-m)ᵀ C_pr⁻¹ (x-m)。当 C_pr = σ² I 时退化为岭回归式的 L2 正则;当 C_pr 取为协方差核(如 Matérn 核、指数核)时,它编码了未知量的空间相关结构。高斯先验的最大优点是共轭性:若 A 线性、噪声高斯,则后验仍是高斯,均值与协方差有闭式表达:
C_post = (Aᵀ Γ_noise⁻¹ A + C_pr⁻¹)⁻¹
m_post = C_post (Aᵀ Γ_noise⁻¹ y + C_pr⁻¹ m)
这使高斯先验成为线性反问题与大规模计算的首选。它的局限也很明显:高斯先验倾向于产生“平滑、稠密、幅度适中”的解,对突变边缘和稀疏结构不友好;此外协方差的构造与求逆在高维下代价高,通常需要借助核矩阵的低秩近似或迭代求解。
二、平滑先验:把“光滑”写成微分算子
平滑先验可以看作高斯先验的一种结构化特例,其核心是把先验作用在差分或微分算子上,例如一阶差分 D₁x 或二阶差分(拉普拉斯)Lx,并令 p(x) ∝ exp(-½λ‖Dx‖²)。等价地,x ~ N(0, (λDᵀD)⁻¹),其精度矩阵是稀疏带状结构,便于快速求解。λ 越大,解越光滑;λ 越小,越贴近数据。
平滑先验适用于未知量本身连续、变化缓慢的场景,例如温度场重建、图像去模糊、地下介质慢变背景。它的典型失效模式是“过度平滑”:在真实存在阶跃或尖峰的位置,平滑先验会把边缘抹平,导致偏差。因此当先验信念与真实结构不符时,应改用下面两类先验。
三、稀疏先验:让“少数非零”成为偏好
稀疏先验假设未知量在某个变换域(如小波域、梯度域)中只有少数系数显著。最常见的是 Laplace 先验 p(x) ∝ exp(-λ‖x‖₁),其负对数即 L1 正则,对应后验众数(MAP)为基追踪/ LASSO 型问题。更一般地,可写成 p(x) ∝ exp(-λ‖Ψx‖₁),其中 Ψ 为稀疏化变换。
稀疏先验适合“点状源、稀疏缺陷、少量激活”的问题,例如稀疏源定位、压缩感知成像、故障稀疏诊断。需要注意:L1 先验的后验并非高斯,MAP 估计不再有闭式解,通常用近端梯度、ADMM 或坐标下降求解;同时 L1 会带来收缩偏差,对大幅值系数的估计偏小,必要时可用非凸稀疏先验(如 SCAD、MCP)或重加权 L1 缓解。
四、全变差先验:保边界的“分段常数”信念
全变差(TV)先验写作 p(x) ∝ exp(-λ TV(x)),其中 TV(x) = Σᵢ |x_{i+1} - x_i|(一维)或梯度模之和(二维)。它惩罚的是梯度的 L1 范数,因此偏好“分段常数/分段光滑”的解,能在去噪的同时保留锐利边缘。TV 后验的 MAP 估计是经典的 ROF 去噪模型,可用原始-对偶算法、Chambolle-Pock 等高效求解。
TV 先验适用于图像去噪、断层重建、阶跃型信号恢复等场景。它的已知缺陷是“阶梯效应”:在缓变区域会产生虚假的平坦块;此外 TV 对纹理细节不友好。实践中常采用高阶 TV、Huber-TV 或 TV-L1 组合来平衡保边与抑阶梯。
五、层级先验:让超参数也被推断
前面四类先验都含有关键超参数(如 λ、σ、相关长度)。固定这些参数往往靠交叉验证或经验,而层级先验把它们也视为随机变量,形成 p(x, θ) = p(x|θ) p(θ) 的两层结构,θ 为超参数(正则强度、噪声方差、稀疏度等)。例如:
x | λ ~ N(0, (λ L)⁻¹)
λ ~ Gamma(a, b)
这样后验同时给出 x 与 λ 的估计,避免手工调参,并能自动实现“自适应正则”。层级先验特别适合噪声水平未知、稀疏度未知或需要不确定性传播的反问题。代价是后验不再共轭,需要 MCMC(如 Gibbs 采样、HMC)或变分推断来近似,计算量显著增加。
六、如何在实际问题中选择与组合
选择先验的核心不是“哪个更高级”,而是先验信念是否与真实结构一致。一个可操作的判断顺序是:先问未知量是否连续缓变(是则高斯/平滑先验);再问是否存在分段常数或锐利边缘(是则 TV 先验);再问是否在某个变换域稀疏(是则稀疏先验);最后问关键超参数是否未知、是否需要不确定性传播(是则层级先验)。
实际建模中更常见的是组合。例如在图像重建中,可用 p(x) ∝ exp(-λ₁‖Ψx‖₁ - λ₂TV(x)) 同时编码稀疏与保边;在噪声方差未知时,可对 σ² 加逆 Gamma 先验形成层级结构。组合时要注意各项量纲与尺度,建议先对 A 与 y 做归一化,再按“数据项 : 正则项”的量级设定初始 λ,例如令 λ ≈ 0.01·‖Aᵀy‖∞ 作为起点,再根据后验预测或 L 曲线调整。
总结来说,高斯先验提供共轭与解析便利,平滑先验把光滑信念写成微分算子,稀疏先验编码“少数显著”,全变差先验保边缘但需防阶梯,层级先验让超参数自适应。掌握它们的数学表达与失效模式,才能在具体反问题中做出有依据的建模决策。