2. 统计学基础回顾：总体与样本、参数与统计量、抽样分布、中心极限定理

A/B 测试本质上是一种统计推断过程。在开始设计实验和分析结果之前，必须牢固掌握统计学中最核心的四个基础概念：总体与样本、参数与统计量、抽样分布以及中心极限定理。这些概念构成了从实验数据到业务结论的桥梁。

2.1 总体与样本

总体（Population）是研究对象的全体集合，通常包含所有可能的数据点。在 A/B 测试中，总体是所有未来可能看到实验版本的用户。然而，我们无法观测到所有用户，因此必须从总体中抽取一个子集——样本（Sample）——来进行测量和推断。

2.2 参数与统计量

参数（Parameter）是描述总体特征的数值，通常是固定的未知常数。例如，总体均值 μ、总体方差 σ²。统计量（Statistic）是描述样本特征的数值，由样本数据计算得出，是随机变量。例如，样本均值 x̄、样本方差 s²。

在 A/B 测试中，我们永远无法知道真实的总体参数，只能通过样本统计量来估计它们。统计量的质量决定了估计的准确性。

2.3 抽样分布

抽样分布（Sampling Distribution）是统计推断的核心概念。它描述的是：如果我们从同一个总体中反复抽取相同大小的样本，并计算某个统计量（如样本均值），这些统计量所构成的分布。

理解抽样分布的关键在于：统计量本身也是一个随机变量。每次抽样得到的 x̄ 都会不同，抽样分布刻画了这种随机性的规律。

抽样分布的两个重要性质：

• 均值：样本均值的抽样分布的均值等于总体均值 μ。
• 标准差：样本均值的抽样分布的标准差（称为标准误）等于 σ / √n，其中 n 为样本量。

2.4 中心极限定理

中心极限定理（Central Limit Theorem, CLT）是统计学中最重要的定理之一，也是 A/B 测试能够使用正态分布进行推断的理论基础。

定理内容：无论总体分布是什么形状，只要样本量 n 足够大（通常认为 n ≥ 30），样本均值 x̄ 的抽样分布就近似服从正态分布。

中心极限定理在 A/B 测试中的三个关键应用：

1. 计算标准误：SE = σ / √n，用于衡量样本均值的波动范围。
2. 构造置信区间：基于正态分布的分位数，计算实验效应可能落在的范围。
3. 进行假设检验：计算 z 统计量或 t 统计量，判断观察到的差异是否显著。

2.5 四个概念的关系总结

这四个概念构成了统计推断的完整链条：

• 总体是我们关心的目标，但不可完全观测。
• 样本是实际观测到的数据，通过随机抽样获得。
• 参数是总体的固定特征，统计量是样本的随机特征，我们用统计量来估计参数。
• 抽样分布描述了统计量的随机行为，中心极限定理保证了在大样本下抽样分布近似正态。