4. 似然函数与参数估计

在参数估计问题中，我们通常面对这样一组数据：它们由某个未知参数 θ 生成，而我们只能看到观测结果。似然函数正是把“参数”与“数据”联系起来的桥梁。理解似然函数，是理解最大似然估计（MLE）与贝叶斯估计（BE）异同的前提。

一、似然函数的定义

设观测数据为 x = (x₁, x₂, …, xₙ)，在参数 θ 给定且样本独立同分布的条件下，联合概率密度（或概率质量）为：

p(x | θ) = ∏ᵢ p(xᵢ | θ)

当把 x 视为已固定的观测值、把 θ 视为变量时，这个函数就称为似然函数：

L(θ) = p(x | θ)

关键点在于视角的转换：概率描述“给定参数时数据出现的可能性”，似然描述“已观测到这批数据时，不同参数值的相对合理性”。似然函数不是 θ 的概率分布，它对 θ 积分一般不等于 1，因此不能直接当作后验使用。

举一个具体例子。假设抛掷一枚硬币 10 次，观测到 7 次正面。设正面概率为 θ，则似然为：

L(θ) = C(10,7) · θ⁷ · (1-θ)³

常数因子 C(10,7) 不影响极值位置，因此常被省略，写作 L(θ) ∝ θ⁷(1-θ)³。这个式子在 θ = 0.7 处取得最大值，这正是最大似然估计的直觉来源。

二、最大似然估计回顾

最大似然估计寻找使似然函数最大的参数值：

θ̂_MLE = argmax_θ L(θ) = argmax_θ log L(θ)

取对数是因为对数单调递增、不改变极值点，却能把连乘变成求和，便于求导。对上面的硬币例子，对数似然为 ℓ(θ) = 7 log θ + 3 log(1-θ)，令导数为零：

7/θ - 3/(1-θ) = 0  ⟹  θ̂_MLE = 7/10 = 0.7

MLE 的性质很实用：在正则条件下具有一致性（样本趋于无穷时收敛到真值）、渐近正态性和渐近有效性。但它也有明显短板：小样本时可能给出极端估计（如 10 次全正面会得到 θ̂ = 1），且完全依赖当前数据，不利用任何先验知识。

三、贝叶斯估计与 MLE 的联系

贝叶斯估计引入先验分布 p(θ)，通过贝叶斯公式得到后验：

p(θ | x) ∝ p(x | θ) · p(θ) = L(θ) · p(θ)

可以看到，后验正比于似然乘以先验。这是两者最本质的联系：似然函数在贝叶斯框架中依然是数据发声的唯一通道，先验只是在其上叠加了额外信息。常用的点估计包括后验均值、后验中位数和最大后验估计（MAP）：

θ̂_MAP = argmax_θ [ log L(θ) + log p(θ) ]

对比 MLE 的目标 argmax log L(θ)，MAP 只多了一项 log p(θ)。因此，当先验为均匀分布（常数）时，MAP 与 MLE 完全等价。这解释了为什么 MLE 常被视为“无信息先验下的贝叶斯估计特例”。

仍以硬币为例，若取 Beta(2,2) 先验（偏向 0.5 的温和先验），后验为 Beta(2+7, 2+3) = Beta(9,5)，后验均值为 9/14 ≈ 0.643，MAP 为 (9-1)/(14-2) = 8/12 ≈ 0.667。相比 MLE 的 0.7，两者都被先验“拉向”0.5，且样本越少拉动越明显——这正是贝叶斯估计的收缩效应。

四、两者的区别与选用

从上面的推导可以归纳出几条清晰的区别。第一，信息使用不同：MLE 只用数据，贝叶斯同时使用数据与先验。第二，输出不同：MLE 给出一个点，贝叶斯给出整个后验分布，点估计只是其摘要，因而天然携带不确定性度量（如可信区间）。第三，小样本行为不同：MLE 在数据稀少时容易过拟合或给出边界值，贝叶斯通过先验实现正则化。第四，计算代价不同：MLE 通常只需优化，贝叶斯往往需要积分或采样（如 MCMC），代价更高。

实践中如何选择？如果样本量充足、先验信息薄弱或难以可信地设定，MLE 简洁可靠；如果样本有限、领域知识明确，或需要完整的不确定性刻画，贝叶斯更合适。需要提醒的是，先验并非“免费午餐”：先验设定不当会引入偏差，因此应做先验敏感性分析，比较不同先验下后验结论是否稳健。

最后强调一个常见误区：似然函数不能与后验混用。似然是数据的函数、参数的函数，但不是参数的概率分布；只有乘上先验并归一化后，才成为可用于概率陈述的后验。把这一层关系理清，后续的后验计算、共轭先验与数值采样方法才有稳固的落脚点。