3. 统计基础回顾

在参数辨识中，我们拿到的永远是一组带噪声的观测数据，据此算出的参数估计值（如最小二乘估计 θ̂）本身也是一个随机变量——换一组数据重做实验，结果就会不同。置信区间要回答的问题正是：这个随机波动的估计值，距离真值可能有多远？要严谨地回答它，必须先回顾四个统计概念：随机变量与概率分布、期望与方差、大数定律、中心极限定理。它们层层递进，最终把"估计值的不确定性"转化为可计算的区间宽度。

一、随机变量与概率分布：描述"估计值会怎么变"

随机变量是把随机试验结果映射为数值的函数。在辨识场景中，最典型的随机变量是观测噪声 εₖ 和由它传导而来的参数估计 θ̂。描述随机变量需要概率分布：连续情形用概率密度函数 f(x)，其曲线下面积给出取值落在某区间的概率。

工程上最常用的是正态分布 N(μ, σ²)，密度函数为

f(x) = 1/(σ√(2π)) · exp( -(x-μ)² / (2σ²) )

它由均值 μ 和方差 σ² 两个参数完全确定，且具有"约 68% 的值落在 μ±σ 内、约 95% 落在 μ±2σ 内"的实用性质。此外还要认识 t 分布与 χ² 分布：当噪声方差未知、只能用样本方差 s² 代替时，标准化统计量服从 t 分布，尾部比正态更厚，这正是小样本置信区间必须用 t 分位数而非 1.96 的原因。

二、期望与方差：位置与散布

期望 E[θ̂] 刻画估计值的"中心位置"，方差 Var(θ̂) 刻画其"散布程度"。二者共同定义了估计量的两个核心品质：

• 无偏性：E[θ̂] = θ，估计值平均而言对准真值；
• 有效性：在无偏估计中方差越小越好，估计越"稳"。

方差还有可加性：若各次观测噪声独立，方差为 σ²，则 N 次观测均值 x̄ 的方差为 σ²/N。这条性质直接解释了"多测几次能提高精度"，也是置信区间宽度随样本量收缩的根源。对最小二乘估计，有 Var(θ̂) = σ²(XᵀX)⁻¹，其中 X 是回归矩阵——激励信号越丰富、XᵀX 越"大"，估计方差越小。

三、大数定律：估计值会收敛到真值

大数定律指出：在独立同分布且期望存在的条件下，样本均值依概率收敛于总体期望，即 x̄ → μ（N→∞）。它的工程含义是：只要数据量足够，辨识结果会稳定地逼近真参数，这为"用估计值代替真值"提供了合法性。但要注意，大数定律只保证"收敛"，不告诉我们"在有限 N 下误差有多大、以多大概率落在某个范围内"——这个定量问题要交给中心极限定理。

四、中心极限定理：误差近似正态，区间才可算

中心极限定理（CLT）指出：无论总体分布是什么形状，只要独立同分布且方差有限，样本均值 x̄ 在 N 较大时近似服从正态分布：

x̄ ~ N( μ, σ²/N )   等价地   (x̄ - μ)/(σ/√N) ~ N(0,1)

这是置信区间构造的"总开关"。它把未知的总体分布替换成已知的正态分布，于是可以写出

P( -1.96 ≤ (x̄ - μ)/(σ/√N) ≤ 1.96 ) ≈ 0.95

反解不等式即得 95% 置信区间 x̄ ± 1.96·σ/√N。若 σ 未知、用样本标准差 s 替代，则把 1.96 换成 t 分位数 t₀.₉₇₅(N-1)。可见区间宽度由三件事决定：置信水平（分位数大小）、噪声水平 σ、样本量 N。这也提示了工程上的改进方向：提高置信度会加宽区间，增大样本量或降低噪声则收窄区间。

五、把四个概念串成一条计算链

上图展示了从统计基础到置信区间的完整逻辑：随机变量与分布给出"估计值如何波动"的模型；期望与方差给出波动的中心与尺度；大数定律保证估计值最终收敛到真值，使"用估计值代表真值"成立；中心极限定理则把有限样本下的误差分布近似为正态，从而允许我们用分位数把"概率"翻译成"区间"。缺任何一环，置信区间的公式都失去依据。

以一个具体示例说明（以下数值为教学假设，非实测）：某系统辨识实验得到参数估计 θ̂ = 2.05，样本标准差 s = 0.12，样本量 N = 25。取 95% 置信水平，自由度 24 的 t 分位数 t₀.₉₇₅(24) ≈ 2.064，则标准误为 s/√N = 0.12/5 = 0.024，半宽为 2.064 × 0.024 ≈ 0.0495，置信区间约为 [2.00, 2.10]。若把样本量提高到 100，标准误降为 0.012，半宽约 0.0248，区间明显收窄——这正是方差可加性与 CLT 共同作用的定量体现。