2. 估计量与抽样分布回顾
在进入Bootstrap之前,我们需要先把“估计量”和“抽样分布”这两块地基打牢。Bootstrap之所以能替代许多传统理论分布的计算,正是因为它用一种极其直接的方式去逼近抽样分布。如果对抽样分布的形成机制没有直观感受,后面的重采样就会变成“照着代码跑一遍”的黑箱操作。本节我们复习点估计、标准误、偏差、均方误差四个核心概念,并用一个可手算的模拟例子把抽样分布“造”出来。
一、点估计:用一个数去猜一个未知参数
设总体有一个未知参数 θ,比如总体均值 μ、总体标准差 σ、总体中位数。我们从总体中抽取样本 X₁, X₂, …, Xₙ,构造一个统计量 θ̂ = T(X₁, …, Xₙ),用它的取值作为 θ 的估计,这就是点估计。常见的点估计有:样本均值 x̄ 估计 μ,样本方差 s² 估计 σ²,样本比例 p̂ 估计总体比例 p。
点估计本身只是一个数,它几乎不可能恰好等于真值。因此评价一个估计量好不好,不能看某一次抽样的结果,而要看它在“反复抽样”下的整体行为。这就引出了抽样分布。
二、抽样分布:估计量的“性格画像”
固定样本量 n,从总体中重复抽取无数个样本,每个样本算出一个 θ̂,这些 θ̂ 构成的分布就是抽样分布。它描述的是估计量在重复抽样下的波动规律。抽样分布有三个关键特征值得关注:
- 中心位置:抽样分布的均值 E(θ̂) 与真值 θ 的关系,决定估计是否无偏;
- 离散程度:抽样分布的标准差,就是标准误 SE(θ̂),它衡量估计的精度;
- 形状:是否近似正态、是否偏斜,决定我们能否用正态近似构造置信区间。
以样本均值 x̄ 为例,若总体均值为 μ、方差为 σ²,则 E(x̄) = μ,SE(x̄) = σ/√n。这个公式说明:样本量越大,标准误越小,估计越稳定;但标准误按 √n 缩小,样本量翻四倍才能把标准误减半。这是理解置信区间宽度的基础。
三、偏差与均方误差:把“准”和“稳”分开看
偏差定义为 Bias(θ̂) = E(θ̂) − θ,衡量估计量平均而言偏离真值多远。无偏估计的偏差为零。但无偏不等于好:一个方差极大的无偏估计,单次结果可能离真值很远。均方误差把两者统一起来:
MSE(θ̂) = E[(θ̂ − θ)²] = Var(θ̂) + [Bias(θ̂)]²
这个分解式非常重要:MSE 由方差和偏差平方两部分组成。实践中常出现“用一点偏差换取方差大幅下降”的权衡,例如收缩估计、岭回归。Bootstrap 在估计标准误和偏差时,正是分别去逼近 Var(θ̂) 和 Bias(θ̂) 这两项。
四、用模拟把抽样分布“造”出来
理论上抽样分布往往难以解析推导,但我们可以用计算机模拟。下面这段 R 代码假设总体服从均值为 50、标准差为 10 的正态分布,样本量 n = 25,重复抽样 5000 次,每次计算样本均值,得到 x̄ 的经验抽样分布:
set.seed(2024)
mu <- 50; sigma <- 10; n <- 25; B <- 5000
xbar <- replicate(B, mean(rnorm(n, mu, sigma)))
mean(xbar) # 经验中心,应接近 50
sd(xbar) # 经验标准误,应接近 10/sqrt(25) = 2
hist(xbar, breaks = 40, probability = TRUE,
main = "样本均值的经验抽样分布", xlab = "x̄")
运行后你会看到:直方图中心在 50 附近,标准差约 2,形状接近钟形。这正是中心极限定理的体现。请注意,这里我们“知道”总体分布,所以能直接从总体抽样;而在真实问题中,总体分布未知,我们只有一个样本,无法重复从总体抽样——这正是 Bootstrap 要解决的困境。
五、从“已知总体”到“只有样本”的跨越
上面的模拟有一个隐含前提:我们知道总体是 N(50, 10²),所以能反复从总体中抽样。现实中我们手里只有一个样本,总体分布完全未知。传统做法是依赖理论分布(如 t 分布、卡方分布)做近似,但这些近似在大样本、非正态、复杂统计量(如中位数、相关系数、R²)面前常常失效。
Bootstrap 的核心思想是:把手中的样本当作总体的“替身”,从样本中有放回地重复抽样,构造出许多“重采样样本”,对每个重采样样本计算 θ̂,用这些 θ̂ 的分布去逼近真实的抽样分布。换句话说,Bootstrap 用“样本的经验分布”替代了“未知的总体分布”,用计算代替了解析推导。理解了本节抽样分布的形成过程,你就能明白:Bootstrap 分布并不是凭空产生的,它是在模仿“从总体重复抽样”这一动作,只不过抽样的对象从总体换成了样本。
上图把两条路径并排放在一起:上半部分是“已知总体”的理论路径,下半部分是“只有样本”的 Bootstrap 路径。注意两者在结构上完全对应——总体对应样本经验分布,从总体抽样对应有放回重采样,理论抽样分布对应 Bootstrap 分布。这种对应不是巧合,而是 Bootstrap 有效性的直观来源。当然,这种逼近是有条件的:样本量不能太小、样本要能代表总体、统计量不能对极端值过于敏感。这些条件我们会在后续章节逐一展开。