3. 置信区间与置信水平：区间估计原理、95%置信水平含义、与点估计对比
3.1 为什么需要区间估计？
在A/B测试中，我们永远无法知道真实的总体参数（如转化率提升的绝对差值），只能通过样本来推断。点估计给出一个“最佳猜测”数值，但缺乏对不确定性大小的刻画。区间估计则回答：“真实值大概在什么范围内？”——这比单个数字更可靠。
核心区别：点估计是“猜一个数”，区间估计是“猜一个范围，并说明这个范围覆盖真实值的可信程度”。
3.2 区间估计的原理
置信区间以点估计为中心，向两侧扩展一个“边际误差”（Margin of Error），形成一个对称或不对称的数值范围。该范围由三个要素决定：
- 样本统计量（如样本均值差、样本比例差）
- 标准误（反映抽样波动性）
- 置信水平对应的临界值（如正态分布下的1.96或t分布下的临界值）
公式形式（以两样本比例差为例）：
置信区间 = (p̂₁ – p̂₂) ± z* × SE
其中 SE = sqrt( p̂₁(1-p̂₁)/n₁ + p̂₂(1-p̂₂)/n₂ )3.3 95%置信水平的真正含义
95%置信水平不是指“真实值有95%的概率落在该区间内”。真实值是固定常数，区间是随机变量。正确的频率学派解释：如果重复抽样无数次，每次构造一个置信区间，那么大约95%的区间会包含真实值。
⚠️ 常见误区：许多初学者说“我们有95%的把握认为真实值在这个区间内”。实际上，你无法对单个区间分配概率；只能说“该区间来自一个置信水平为95%的构造过程”。
| 维度 | 点估计 | 区间估计 |
|---|---|---|
| 输出形式 | 单个数值（如提升2.3%） | 数值范围（如0.8%～3.8%） |
| 不确定性表达 | 无 | 通过区间宽度和置信水平量化 |
| 决策友好性 | 直接，但易误判 | 提供统计显著判定依据 |
| 对样本量敏感性 | 样本量越大点估计越准，但数值本身不体现 | 区间宽度随样本量增大而变窄，直观显示精度提升 |
💡 直觉类比：想象用网捞鱼。点估计就像渔夫说“那条鱼重3.2斤”，但网可能漏掉。95%置信区间就像渔夫说“这条鱼重量在2.8斤到3.6斤之间，我这样的捞鱼方法100次有95次能兜住真实重量”。你永远不知道这条鱼的实际重量，但你知道这个范围很可能是对的。
3.4 与点估计的关系
点估计和区间估计不是互斥的，而是互补的。一份完整的A/B测试报告应当同时报告：
- 点估计值（例如转化率绝对提升0.5%）
- 置信区间（例如[-0.1%, 1.1%]）
- 置信水平（通常95%）
- p值（用于假设检验）
点估计给出效应大小，置信区间给出效应大小的合理范围及精度。
3.5 实际应用边界
- 统计假设前提：置信区间的计算依赖样本的独立性和近似正态性。当样本量小于30或转化率接近0/1时，应使用精确方法（如Bootstrap）。
- 置信水平的选取：95%是行业惯例，但在低风险场景（如内部工具）可用90%，在高风险场景（如医疗试验）常用99%。
- 多重比较问题：同时观测多个指标时，单个95%置信区间会放大整体犯错的概率，需做Bonferroni校正或使用联合置信区间。
3.6 核心概念结构图
3.7 练习题
- 判断题：一个A/B测试中，95%置信区间为[0.1%, 2.5%]，说明真实提升有95%的概率在0.1%～2.5%之间。（ ）
- 计算题：假设样本比例差点估计为1.2%，标准误为0.5%，检验α=0.05（双尾，z*=1.96）。请计算95%置信区间并判断是否包含零。
- 辨析题：当样本量从1000增加到4000时，置信区间的宽度大致如何变化？说明区间估计如何反映统计精度。
- 应用题：某产品团队报告转化率绝对提升点估计为0.8%，95%置信区间为[-0.3%, 1.9%]。你作为决策者，能否下结论说实验组比对照组好？为什么？
参考答案要点：
1. 错。正确解释：该区间来自一个95%置信水平的构造过程，单次区间不能赋予概率。
2. 区间=1.2%±1.96×0.5%=1.2%±0.98%= [0.22%, 2.18%]。不包含零，统计显著。
3. 样本量变为4倍，标准误差减半（与√n成反比），因此区间宽度大致减半。
4. 不能。因为区间跨越零（包含负值），说明结果在统计上不显著，无法排除零效果。