置信区间的原理与使用

概念解释：从点估计到区间估计

在A/B测试中，当我们计算实验组的转化率时，得到的是一个点估计（例如 12.5%）。但样本只是总体的一个快照，点估计难免受抽样误差影响。置信区间给出了一个范围，表示“真实总体参数可能落在该区间内”的可信程度。

正式定义：置信区间是对总体参数的一个区间估计，该区间由样本统计量构造而成，并关联一个置信水平（通常为 95% 或 99%）。置信水平表示：如果我们重复抽样多次并计算置信区间，大约有置信水平比例的区间会包含总体真实参数。

原理图解：抽样分布与置信区间

上图展示了抽样分布（蓝色曲线）的中心为样本均值，红色虚线标记了 95% 置信区间的下限和上限。紫色点代表真实的总体参数（在此例中落在区间内）。95% 的统计意义是：在重复抽样中，如此构造的区间有 95% 的概率包含真实参数。

类比：捕鱼网的隐喻

• 总体参数 = 湖中一条确定的鱼
• 样本统计量 = 一次撒网的位置
• 置信区间 = 撒下的渔网范围
• 置信水平 = 这张网捕捉到鱼的概率

当你撒网 100 次（重复抽样），其中大约 95 次网能捕到鱼（区间包含参数）。但对于某一次具体的网，鱼要么在里面，要么在外面——没有概率可言。

手动计算示例（两组差异的置信区间）

情况：A组转化率 pA = 12.5%（nA = 1000）
      B组转化率 pB = 15.0%（nB = 1000）
      
差值 d = pB - pA = 2.5%

差值标准误 SE = sqrt( (pA*(1-pA)/nA) + (pB*(1-pB)/nB) )
            = sqrt( (0.125*0.875/1000) + (0.15*0.85/1000) )
            = sqrt(0.0001094 + 0.0001275)
            = sqrt(0.0002369)
            = 0.01539

95% 置信区间 = d ± 1.96 × SE
             = 0.025 ± 1.96 × 0.01539
             = 0.025 ± 0.03016
             = [-0.516%, 5.516%]

结论：区间包含 0，说明差异未达到统计显著。

与 p 值的对应关系

置信区间和 p 值在统计推断中是等价的，只是呈现视角不同：

关键对应规则：如果 p 值 = 0.05，那么 95% 置信区间的上限或下限刚好落到零处。p 值告诉你“是否显著”，置信区间额外告诉你“效应量可能有多大”。

常见误区

应用边界与注意事项

• 样本量要求：构造置信区间通常需要样本量足够大（如每组 n≥30），以便中心极限定理适用。
• 正态性假设：对于比例数据，需要满足 np≥5 且 n(1-p)≥5，否则应考虑精确置信区间（如 Clopper-Pearson 区间）。
• 多重比较：同时比较多个实验组时，单一置信区间的置信水平会膨胀，需做校正（如 Bonferroni）。
• 置信水平选择：95% 是行业默认值，但在探索性分析中可用 90%，在安全性关键场景可用 99%。
• 边际显著情况：当置信区间刚好触及零时（例如 [-0.1%, 5.1%]），不要直接判定显著或不显著，应结合业务背景和效应量大小综合判断。

练习题

1. 某 A/B 测试中，实验组转化率为 18%，对照组为 15%，每组样本量均为 500。请计算转化率差异的 95% 置信区间，并判断是否包含零。
2. 解释为什么 99% 置信区间比 95% 置信区间更宽？
3. 如果一个 A/B 测试的 p 值为 0.03，那么差异的 95% 置信区间是否一定不包含零？请说明理由。