2. 估计量与抽样分布回顾

在进入Bootstrap之前,我们需要先把“估计量”和“抽样分布”这两块地基打牢。Bootstrap之所以能替代许多传统理论分布的计算,正是因为它用一种极其直接的方式去逼近抽样分布。如果对抽样分布的形成机制没有直观感受,后面的重采样就会变成“照着代码跑一遍”的黑箱操作。本节我们复习点估计、标准误、偏差、均方误差四个核心概念,并用一个可手算的模拟例子把抽样分布“造”出来。

一、点估计:用一个数去猜一个未知参数

设总体有一个未知参数 θ,比如总体均值 μ、总体标准差 σ、总体中位数。我们从总体中抽取样本 X₁, X₂, …, Xₙ,构造一个统计量 θ̂ = T(X₁, …, Xₙ),用它的取值作为 θ 的估计,这就是点估计。常见的点估计有:样本均值 x̄ 估计 μ,样本方差 s² 估计 σ²,样本比例 p̂ 估计总体比例 p。

点估计本身只是一个数,它几乎不可能恰好等于真值。因此评价一个估计量好不好,不能看某一次抽样的结果,而要看它在“反复抽样”下的整体行为。这就引出了抽样分布。

二、抽样分布:估计量的“性格画像”

固定样本量 n,从总体中重复抽取无数个样本,每个样本算出一个 θ̂,这些 θ̂ 构成的分布就是抽样分布。它描述的是估计量在重复抽样下的波动规律。抽样分布有三个关键特征值得关注:

  • 中心位置:抽样分布的均值 E(θ̂) 与真值 θ 的关系,决定估计是否无偏;
  • 离散程度:抽样分布的标准差,就是标准误 SE(θ̂),它衡量估计的精度;
  • 形状:是否近似正态、是否偏斜,决定我们能否用正态近似构造置信区间。

以样本均值 x̄ 为例,若总体均值为 μ、方差为 σ²,则 E(x̄) = μ,SE(x̄) = σ/√n。这个公式说明:样本量越大,标准误越小,估计越稳定;但标准误按 √n 缩小,样本量翻四倍才能把标准误减半。这是理解置信区间宽度的基础。

三、偏差与均方误差:把“准”和“稳”分开看

偏差定义为 Bias(θ̂) = E(θ̂) − θ,衡量估计量平均而言偏离真值多远。无偏估计的偏差为零。但无偏不等于好:一个方差极大的无偏估计,单次结果可能离真值很远。均方误差把两者统一起来:

MSE(θ̂) = E[(θ̂ − θ)²] = Var(θ̂) + [Bias(θ̂)]²

这个分解式非常重要:MSE 由方差和偏差平方两部分组成。实践中常出现“用一点偏差换取方差大幅下降”的权衡,例如收缩估计、岭回归。Bootstrap 在估计标准误和偏差时,正是分别去逼近 Var(θ̂) 和 Bias(θ̂) 这两项。

四、用模拟把抽样分布“造”出来

理论上抽样分布往往难以解析推导,但我们可以用计算机模拟。下面这段 R 代码假设总体服从均值为 50、标准差为 10 的正态分布,样本量 n = 25,重复抽样 5000 次,每次计算样本均值,得到 x̄ 的经验抽样分布:

set.seed(2024)
mu <- 50; sigma <- 10; n <- 25; B <- 5000
xbar <- replicate(B, mean(rnorm(n, mu, sigma)))
mean(xbar)      # 经验中心,应接近 50
sd(xbar)        # 经验标准误,应接近 10/sqrt(25) = 2
hist(xbar, breaks = 40, probability = TRUE,
     main = "样本均值的经验抽样分布", xlab = "x̄")

运行后你会看到:直方图中心在 50 附近,标准差约 2,形状接近钟形。这正是中心极限定理的体现。请注意,这里我们“知道”总体分布,所以能直接从总体抽样;而在真实问题中,总体分布未知,我们只有一个样本,无法重复从总体抽样——这正是 Bootstrap 要解决的困境。

把上面的 n 改成 100,再跑一次,观察 sd(xbar) 是否从约 2 降到约 1。这个对比能让你直观感受到标准误随样本量变化的规律,也为后面理解“Bootstrap 标准误随 n 增大而减小”打下基础。

五、从“已知总体”到“只有样本”的跨越

上面的模拟有一个隐含前提:我们知道总体是 N(50, 10²),所以能反复从总体中抽样。现实中我们手里只有一个样本,总体分布完全未知。传统做法是依赖理论分布(如 t 分布、卡方分布)做近似,但这些近似在大样本、非正态、复杂统计量(如中位数、相关系数、R²)面前常常失效。

Bootstrap 的核心思想是:把手中的样本当作总体的“替身”,从样本中有放回地重复抽样,构造出许多“重采样样本”,对每个重采样样本计算 θ̂,用这些 θ̂ 的分布去逼近真实的抽样分布。换句话说,Bootstrap 用“样本的经验分布”替代了“未知的总体分布”,用计算代替了解析推导。理解了本节抽样分布的形成过程,你就能明白:Bootstrap 分布并不是凭空产生的,它是在模仿“从总体重复抽样”这一动作,只不过抽样的对象从总体换成了样本。

理论路径:已知总体 → 重复抽样 → 抽样分布 总体 N(μ, σ²) 分布已知 抽 n 个 样本 X₁,…,Xₙ 计算 θ̂ 重复 B 次 抽样分布 θ̂ 的分布 中心 / 标准误 / 形状 近似钟形 Bootstrap 路径:只有样本 → 有放回重采样 → Bootstrap 分布 唯一观测样本 x₁,…,xₙ 总体未知 有放回抽 n 个 重采样样本 x₁*,…,xₙ* 计算 θ̂* 重复 B 次 Bootstrap 分布 θ̂* 的分布 逼近抽样分布 形状相近 关键对应关系: 总体分布 ≈ 样本经验分布 | 从总体抽样 ≈ 从样本有放回重采样 | 理论抽样分布 ≈ Bootstrap 分布 标准误 SE(θ̂) ≈ Bootstrap 分布的标准差 | 偏差 Bias(θ̂) ≈ Bootstrap 均值 − 原样本估计值

上图把两条路径并排放在一起:上半部分是“已知总体”的理论路径,下半部分是“只有样本”的 Bootstrap 路径。注意两者在结构上完全对应——总体对应样本经验分布,从总体抽样对应有放回重采样,理论抽样分布对应 Bootstrap 分布。这种对应不是巧合,而是 Bootstrap 有效性的直观来源。当然,这种逼近是有条件的:样本量不能太小、样本要能代表总体、统计量不能对极端值过于敏感。这些条件我们会在后续章节逐一展开。

不要把“Bootstrap 分布”和“抽样分布”混为一谈。抽样分布是估计量在真实总体下重复抽样的理论分布,通常是未知的;Bootstrap 分布是用样本经验分布近似出来的、可通过计算得到的分布。我们是用后者去估计前者的标准误、偏差和分位数,而不是宣称两者完全相等。