4. 参数估计的经典方法

在参数辨识中，我们通常已经确定了模型结构，例如一阶惯性系统 y(k)=a·y(k-1)+b·u(k-1)+e(k)，剩下的任务就是根据观测数据估计未知参数 a、b。经典参数估计方法提供了三条不同的思路：矩估计从统计矩的对应关系出发，最大似然估计从样本出现的概率出发，最小二乘估计从残差平方和最小出发。理解三者的原理差异，才能在实际辨识任务中选对工具。

矩估计：用样本矩替换理论矩

矩估计的核心思想非常直接：如果模型的理论矩是参数的函数，那么用样本矩去替换理论矩，解出的参数就是矩估计值。以一阶自回归模型 y(k)=a·y(k-1)+e(k) 为例，理论自协方差满足 γ₁=a·γ₀，于是矩估计为 â=γ̂₁/γ̂₀，其中 γ̂₀、γ̂₁ 由样本序列直接计算。对于均值 μ 和方差 σ²，矩估计就是样本均值和样本方差。

矩估计的优点是计算简单、无需假设噪声分布，且在大样本下具有一致性和渐近正态性。缺点是它只利用了低阶矩信息，估计效率通常低于最大似然估计；当模型矩与参数的关系复杂或高阶矩难以稳定估计时，矩估计的精度会明显下降。在参数辨识中，矩估计常用于给迭代算法提供初值，或用于快速粗估系统的时间常数、增益等量级。

最大似然估计：让观测数据最“可能出现”

最大似然估计把参数看作未知常数，把观测数据看作随机变量。它构造似然函数 L(θ)=p(y₁,…,y_N|θ)，并选择使该函数最大的参数值。若噪声 e(k) 独立且服从零均值高斯分布 N(0,σ²)，则对数似然为：

ln L(θ) = -N/2·ln(2πσ²) - 1/(2σ²)·Σ[y(k) - φᵀ(k)θ]²

对 θ 求导并令其为零，可以发现高斯噪声下的最大似然估计等价于最小化残差平方和，这正是最小二乘估计的形式。这一联系说明：最小二乘并非独立于统计理论，而是最大似然在高斯噪声假设下的特例。最大似然估计具有渐近无偏、渐近有效和渐近正态等优良性质，在样本量足够大时方差可达克拉美-罗下界。其代价是需要知道或假设噪声的分布形式，且似然函数可能非线性、多峰，需要数值优化求解。

最小二乘估计：残差平方和最小

最小二乘估计不关心噪声的具体分布，只要求残差平方和 J(θ)=Σ[y(k)-φᵀ(k)θ]² 最小。对线性参数模型，令 ∂J/∂θ=0 可得正规方程 ΦᵀΦ·θ̂=ΦᵀY，当 ΦᵀΦ 可逆时：

θ̂ = (ΦᵀΦ)⁻¹ΦᵀY

其中 Φ 是由回归向量 φ(k) 逐行堆叠而成的数据矩阵，Y 是输出向量。最小二乘的几何意义是把输出向量投影到由输入数据张成的子空间上，残差与子空间正交。它的优点是无需噪声分布假设、有闭式解、计算稳定；缺点是当噪声与回归向量相关时（例如输出端存在有色噪声、或模型含输出滞后项导致回归量与噪声相关），估计会出现偏差，此时需要引入工具变量法或增广最小二乘等改进方法。

三者的联系与选择依据

三种方法并非彼此孤立。在独立同分布高斯噪声假设下，最大似然估计与最小二乘估计给出相同的参数解；矩估计则常被用来为最大似然的数值优化提供初值，避免陷入局部极值。选择方法时可以从三个维度判断：噪声知识——若噪声分布已知且可信，最大似然更有效；若分布未知，最小二乘更稳健。模型结构——线性参数模型优先用最小二乘闭式解；非线性参数模型可用最大似然配合数值优化。数据条件——样本量小、需要快速给出量级估计时，矩估计更实用；样本充足且追求统计效率时，最大似然更合适。

一个可操作的辨识示例

设某温度对象用一阶模型 y(k)=a·y(k-1)+b·u(k-1)+e(k) 描述，采集了 N=200 组输入输出数据（示例数据为教学假设）。按以下流程操作：

1. 构造回归向量 φ(k)=[y(k-1), u(k-1)]ᵀ，堆叠成矩阵 Φ（200×2）和输出向量 Y（200×1）。
2. 计算 ΦᵀΦ 并检查条件数；若条件数过大，说明输入激励不足，应先改善实验信号。
3. 求解 θ̂=(ΦᵀΦ)⁻¹ΦᵀY，得到 â、b̂ 的初步估计。
4. 计算残差 ε(k)=y(k)-φᵀ(k)θ̂，检查残差是否近似白噪声；若残差存在明显自相关，说明噪声与回归量相关，最小二乘可能有偏，应改用工具变量法或增广最小二乘。
5. 若已知噪声近似高斯分布，可进一步构造对数似然函数，以最小二乘结果为初值做数值优化，比较两种估计的残差方差，判断精度是否提升。

需要强调的是，最小二乘在输出滞后项进入回归向量时会引入偏差，这是参数辨识中常见的陷阱。例如模型含 y(k-1) 且噪声为有色噪声时，y(k-1) 与 e(k-1) 相关，破坏最小二乘的正交条件。此时应优先考虑增广最小二乘（同时估计噪声模型参数）或工具变量法，而不是简单增加样本量。理解每种方法的假设前提，比记住公式本身更重要。