3. 参数估计方法

在分布拟合中，我们往往已经选定了分布族（例如正态分布、伽马分布），但分布的具体形状由少数几个未知参数决定。参数估计的任务，就是利用样本数据反推出这些参数最合理的取值。本节聚焦两种最基础、也最常用的方法——矩估计与最大似然估计，并以正态分布和伽马分布为例完整推导估计量，最后讨论如何评价一个估计量好不好。

一、矩估计：用样本矩“对齐”总体矩

矩估计的核心思想非常朴素：样本来自总体，那么样本的各阶矩应当近似等于总体的各阶矩。设总体有 k 个未知参数，我们令前 k 阶样本矩等于对应的总体矩，解方程组即可得到估计量。

以正态分布 N(μ, σ²) 为例，参数为 μ 和 σ²。一阶总体矩为 E(X)=μ，二阶中心矩为 Var(X)=σ²。令样本均值与样本方差分别等于它们，直接得到：

μ̂ = x̄ = (1/n) Σ xᵢ
σ̂² = (1/n) Σ (xᵢ - x̄)²

注意这里用的是除以 n 的二阶中心矩，而不是除以 n−1 的无偏样本方差，这是矩估计的直接结果，后文会说明它的偏差问题。

再看伽马分布。设 X ~ Gamma(α, β)，其中 α 为形状参数、β 为尺度参数，则 E(X)=αβ，Var(X)=αβ²。令样本均值 m₁=x̄、样本二阶中心矩 m₂=(1/n)Σ(xᵢ−x̄)² 分别等于 αβ 与 αβ²，两式相除消去 β：

α̂ = x̄² / m₂
β̂ = m₂ / x̄

矩估计的优点是计算简单、几乎不需要迭代，且在大样本下具有一致性；缺点是它只利用了低阶矩的信息，对分布尾部形状不敏感，在小样本或数据偏斜时效率可能不高，而且估计量不一定落在参数允许的范围内（例如极端数据下可能算出非正的方差估计）。

二、最大似然估计：让观测到的数据“最可能出现”

最大似然估计（MLE）从另一个角度出发：既然这组样本已经被观测到，那么就选择使这组样本出现概率（或概率密度）最大的参数值。对独立同分布样本，似然函数为各样本密度的乘积，通常取对数后求导令其为零。

对正态分布，对数似然为：

ℓ(μ, σ²) = -(n/2)ln(2π) - (n/2)ln σ² - (1/(2σ²)) Σ (xᵢ - μ)²

对 μ 求偏导并令其为零，得 μ̂ = x̄；再对 σ² 求偏导，得 σ̂² = (1/n)Σ(xᵢ−x̄)²。可见正态分布下 MLE 与矩估计结果一致，但 MLE 的方差估计同样除以 n，是有偏的。

伽马分布的 MLE 没有闭式解。其对数似然对 α 求导后得到方程：

ln α̂ - ψ(α̂) = ln(x̄ / g̃)
其中 g̃ 为样本几何均值，ψ 为 digamma 函数

该方程需用牛顿法或二分法数值求解 α̂，再令 β̂ = x̄/α̂。实际实现中可直接调用统计库的拟合函数，但理解这一“先解形状、再定尺度”的结构，有助于判断拟合失败时问题出在哪一步。

三、估计量的性质：无偏性与有效性

同一个参数可以有多个估计量，评价它们需要标准。无偏性要求估计量的期望等于真值，即 E(θ̂)=θ。正态方差的两个估计量中，除以 n 的 σ̂² 期望为 (n−1)/n·σ²，存在系统性低估；除以 n−1 的样本方差才是无偏的。因此实践中报告方差时常用后者，而 MLE 的偏差在大样本下趋于可忽略。

有效性则比较估计量的方差：在无偏估计量中，方差越小越有效。克拉美-罗下界给出了任何无偏估计量方差的理论下限，达到该下界的称为有效估计量。正态均值 x̄ 的方差为 σ²/n，恰好达到下界，因此是有效估计；而用样本中位数估计 μ 虽然也无偏，但方差更大，效率较低。

此外还应关注一致性（样本量增大时估计量依概率收敛于真值）和均方误差（偏差平方与方差之和）。实际建模时，偏差与方差往往需要权衡：一个有轻微偏差但方差很小的估计量，其均方误差可能优于无偏但波动大的估计量。

四、方法选择与实践建议

两种方法并非互斥。矩估计计算直接、可作为数值优化的初值；最大似然在样本量较大时通常更有效，且便于构造置信区间和进行似然比检验。对于正态分布，两者结果一致，选择哪种实现都可以；对于伽马、威布尔等形状参数无闭式解的分布，建议先用矩估计得到初值，再交给 MLE 迭代精化。

在报告估计结果时，应同时说明所用方法、样本量以及是否做了无偏修正。例如用 MLE 拟合正态方差后，若需无偏估计，可乘以 n/(n−1) 进行修正。理解估计量的偏差来源与效率差异，才能在实际拟合中判断参数是否可信，而不是盲目接受软件输出的数字。