4. 参数估计的基本准则
在实验数据驱动的建模中，我们通常已经确定了模型结构，例如一条直线 y = kx + b、一个一阶惯性环节，或者一个多项式响应面，剩下的任务就是根据带噪声的观测数据反推模型参数。同一个参数估计问题，往往可以用不同的准则来求解：最小二乘、极大似然、贝叶斯估计。它们并不是互相替代的三种"算法技巧"，而是三种对"什么样的参数才算好"的不同回答。理解它们的直观含义与适用条件，比记住公式更重要。
三种准则在回答什么问题
最小二乘的出发点是几何的：给定一组观测点，寻找一条曲线，使所有观测点到曲线的竖直残差平方和最小。它不假设噪声服从什么分布，只要求"整体偏差尽量小"。因此最小二乘是一种拟合准则，回答的是"哪组参数让模型输出与数据的平方误差最小"。
极大似然的出发点是概率的：假设观测数据是由"真实参数 + 随机噪声"生成的，噪声的分布形式已知（例如零均值高斯噪声），那么每组参数都对应一个"产生当前这组数据的概率密度"。极大似然选择让已观测数据出现概率最大的那组参数。它回答的是"哪组参数最可能生成我看到的这批数据"。
贝叶斯估计则更进一步：在观测之前，我们对参数已有先验认识（例如某个电阻阻值应在标称值附近），观测之后用似然去修正这个认识，得到后验分布。它回答的是"看到数据之后，我应该对参数持什么样的信念分布"。最终常取后验均值或后验众数作为点估计。
从公式到直观：一个直线拟合的例子
设实验测得 5 组数据点 (x, y)：(1, 2.1)、(2, 3.9)、(3, 6.2)、(4, 7.8)、(5, 10.1)，模型取 y = kx + b。若采用最小二乘，目标函数为
J(k, b) = Σ (yᵢ − k·xᵢ − b)²
∂J/∂k = 0, ∂J/∂b = 0 → 正规方程
[Σxᵢ² Σxᵢ] [k] [Σxᵢyᵢ]
[Σxᵢ n ] [b] = [Σyᵢ ]代入数据可解出 k ≈ 1.99、b ≈ 0.06（此处为示例数据，用于说明计算流程，非实测结果）。若进一步假设噪声 ε ~ N(0, σ²)，则似然函数为
L(k, b, σ) = Π (1/(√(2π)σ)) · exp(−(yᵢ − kxᵢ − b)²/(2σ²))取对数后，最大化 log L 等价于最小化 Σ(yᵢ − kxᵢ − b)²，即与最小二乘完全一致。这正是"高斯噪声下最小二乘就是极大似然"的由来。若噪声更接近拉普拉斯分布（尖峰厚尾、易出现离群点），极大似然会导出最小化 Σ|yᵢ − kxᵢ − b|，即 L1 回归，对异常值更稳健。
贝叶斯估计的直观：先验如何起作用
假设根据器件手册，斜率 k 应在 2.0 附近，不确定度约 0.3，可设先验 k ~ N(2.0, 0.3²)。观测数据后，后验分布正比于"先验 × 似然"。当数据只有 2～3 个点、噪声又较大时，似然很宽，后验会被先验明显拉向 2.0；当数据增加到几十个点时，似然变得尖锐，后验几乎由数据决定，先验的影响可以忽略。这解释了贝叶斯估计的适用条件：小样本、有可信先验、需要不确定性量化时优势明显；若先验本身错误，则可能引入系统性偏差。
适用条件对照与工程选择
| 准则 | 核心假设 | 优点 | 风险与限制 | 典型场景 |
|---|---|---|---|---|
| 最小二乘 | 误差平方和有意义，噪声大致对称 | 实现简单，线性模型有闭式解 | 对离群点敏感，无不确定性输出 | 传感器标定、曲线拟合 |
| 极大似然 | 噪声分布形式已知 | 渐近有效，方差接近理论下界 | 分布设错则估计有偏 | 计数数据、非高斯噪声建模 |
| 贝叶斯 | 先验可信，可给出后验 | 小样本稳定，天然给出置信区间 | 先验主观，计算量较大 | 昂贵实验、在线递推估计 |
最后要强调，三种准则给出的点估计在理想条件下往往非常接近，真正的差别体现在假设是否成立以及能否给出不确定性的度量。选择准则时，应先问"我的噪声大概是什么分布、我有没有可信的先验、我需要一个数还是一个区间"，再决定用哪一种，而不是默认套用最小二乘。