1.1 置信度的基本定义

置信度是统计推断与 A/B 测试决策的基石。本章从统计学意义、与 p 值的关系、常用阈值三个角度建立对置信度的精确理解，并辨析最常见的认知误区。

1.1.1 统计学意义

置信度（Confidence Level），记作 1 − α，是指在重复抽样条件下，置信区间包含总体参数真值的长期频率。它衡量的是估计方法的可靠性，而非单次估计的准确概率。

• 频率学派解释：若进行 100 次独立实验，每次构建 95% 置信区间，则约 95 个区间会覆盖真实参数值。
• 与置信区间的关系：置信区间 = 点估计 ± 边际误差（ME），其中边际误差由置信水平、标准误和分布临界值共同决定。
• A/B 测试场景：当报告“转化率差值的 95% 置信区间为 [1.2%, 3.8%]”时，95% 即置信水平，区间不包含 0 则差异显著。

1.1.2 与 p 值的关系

置信度与 p 值是同一硬币的两面，通过显著性水平 α 直接等价转换：

决策等价性：在经典频率学派框架下，p < α 等价于置信区间不包含原假设值（通常为 0 或 1）。两种方法得出的结论永远一致。

1.1.3 常用阈值

α 的选择没有绝对标准，需根据领域惯例、后果严重性和样本量权衡。下表列出三种最常用的阈值及其典型场景：

在 A/B 测试行业中，α = 0.05 是事实标准，但若测试结果关乎重大业务决策（如全量上线策略），建议使用 α = 0.01 以减少误判风险。

1.1.4 常见误区辨析

1.1.5 实际应用边界

置信度的有效性依赖于以下前提条件，违反时结论可能不可靠：

• 样本量充足：小样本下 t 分布代替 z 分布，区间宽度增大，置信度标签仍可使用但精度下降。
• 独立同分布：A/B 测试中用户分组需满足独立性，同一用户不可同时进入对照组与实验组。
• 近似正态：比例类指标（转化率）需满足 n·p ≥ 5 且 n·(1−p) ≥ 5，否则应使用精确检验。
• 多重比较修正：同时运行多个 A/B 测试时，需对 α 进行 Bonferroni 或 FDR 校正，否则整体 I 类错误率膨胀。

◉ 本章练习

1. 选择题：在 A/B 测试中，实验组与对照组的转化率差值的 p 值为 0.03，预先设定的显著性水平 α = 0.05。以下结论正确的是：

   • A. 接受原假设，差异无统计显著性
   • B. 拒绝原假设，差异有统计显著性 ✓
   • C. 需要重新实验才能判断
   • D. 置信水平应为 97%

2. 判断题：95% 置信度意味着总体参数有 95% 的概率落在本次实验计算出的置信区间内。（ ）

   答案：× — 95% 置信度是指重复抽样中 95% 的区间覆盖真值，而非单次概率。

3. 简答：若某 A/B 测试使用 α = 0.05，得到 p = 0.07。业务方坚持“p 不显著，但置信区间是 95% 的，应该还有参考价值”。请用本章所学解释这一说法的问题所在。

   提示：p = 0.07 > 0.05，95% 置信区间必然包含 0，两种方法结论一致。若认为“有参考价值”需使用 α = 0.10 对应的 90% 置信区间重新评估，但需预先声明。