2. 统计学基础回顾：总体与样本、假设检验、第一类与第二类错误、显著性水平与置信区间
在 Champion Challenger 模型的 A/B 测试中，统计学是判断实验结论是否可靠的核心工具。没有统计学基础，实验可能沦为“拍脑袋”决策。本节将回顾 A/B 测试中必须掌握的四个统计学基石概念。
2.1 总体与样本：从局部推断全局
在 A/B 测试中，我们无法让所有用户都参与实验，只能抽取一部分用户进行测试，然后用这部分用户的行为去推断全体用户的表现。
| 概念 | 定义 | A/B 测试中的例子 |
|---|---|---|
| 总体 | 研究对象的全体集合 | 所有未来可能访问你网站的用户 |
| 样本 | 从总体中抽取的一部分个体 | 实验期间被随机分配到 Champion 或 Challenger 组的用户 |
| 抽样 | 从总体中选取样本的过程 | 使用随机分流算法将用户分配到实验组和对照组 |
关键原则：样本必须具有代表性。如果样本选择存在偏差（例如只抽取周末活跃用户），则无法用样本结果准确推断总体。
2.2 假设检验：原假设与备择假设
假设检验是 A/B 测试的决策框架。我们事先提出两个互斥的假设，然后通过实验数据判断哪个假设更可能成立。
- 原假设（H₀）：通常代表“无差异”或“现状”。在 A/B 测试中，原假设是“Champion 和 Challenger 的效果没有差异”。
- 备择假设（H₁）：代表“有差异”或“存在效果”。备择假设是“Challenger 的效果优于 Champion”或“两者效果不同”。
记忆技巧：原假设（H₀）中的“0”代表“零差异”；备择假设（H₁）是你希望证明的结论。实验的目标是寻找足够证据拒绝原假设。
2.3 第一类错误与第二类错误
在假设检验中，我们可能做出错误的判断。理解这两类错误是评估实验风险的基础。
| 决策结果 | H₀ 为真（无差异） | H₁ 为真（有差异） |
|---|---|---|
| 未拒绝 H₀ | ✅ 正确决策 | ❌ 第二类错误（β） 错过真实效果 |
| 拒绝 H₀ | ❌ 第一类错误（α） 误报虚假效果 |
✅ 正确决策 |
业务影响：第一类错误（α）意味着你错误地认为 Challenger 更好，可能上线一个实际上没有提升的模型，浪费资源。第二类错误（β）意味着你错过了真正更好的 Challenger，导致业务增长机会流失。
2.4 显著性水平与置信区间
这两个概念是 A/B 测试结果解读的核心输出。
显著性水平（α）
- 定义：当原假设为真时，错误地拒绝原假设的概率上限。
- 常用值：0.05（5%）、0.01（1%）。
- 解读：如果 p 值 < α，则拒绝原假设，认为 Challenger 有统计显著的效果。
置信区间（Confidence Interval）
- 定义：在重复抽样中，包含总体真实参数的范围的概率。
- 常用值：95% 置信区间。
- 解读：“我们有 95% 的信心认为 Challenger 相比 Champion 的真实提升幅度在 [2.1%, 3.5%] 之间”。
实战建议：不要只看 p 值是否显著。同时查看置信区间可以了解效果的大小和方向。如果置信区间包含 0，则结果不显著；如果区间下限为正，则 Challenger 显著优于 Champion。
2.5 知识结构总结
| 概念 | 在 A/B 测试中的角色 | 常见误区 |
|---|---|---|
| 总体与样本 | 确定实验对象和推断范围 | 样本偏差导致结论不可推广 |
| 原假设与备择假设 | 明确实验要验证的命题 | 将“不拒绝 H₀”误认为“接受 H₀” |
| 第一类错误（α） | 控制误报风险 | α 设得太低导致样本量需求过大 |
| 第二类错误（β） | 控制漏报风险 | 忽视统计功效，导致实验“白做” |
| 显著性水平 | 判断结果是否统计显著 | 将统计显著等同于业务显著 |
| 置信区间 | 量化效果大小和不确定性 | 只报告 p 值，不报告置信区间 |