显著性水平α与统计功效1−β的关系：平衡风险与成本

在A/B测试中，显著性水平α和统计功效1−β是决定样本量大小的两个核心参数。α控制“假阳性”风险（把无效改动误判为有效），1−β控制“真阳性”能力（能检测出真实效果的概率）。二者在相同的样本量下此消彼长，如同天平的两端。

1. 概念拆解

2. 原理图解：α与β如何共存

下图为两个正态分布叠加：左侧分布代表H₀（无效果），右侧分布代表H₁（有实际效果）。临界值（虚线）由α决定；阴影区域分别表示α和β。

3. 类比：安检系统的灵敏度 vs 误报率

设想机场安检金属探测器：

• 显著性水平α = 误报率（正常旅客被拦下的概率）。降低α意味着调高报警阈值，减少误拦，但可能放走携带金属的真实威胁（增大β）。
• 统计功效1−β = 准确发现威胁的概率。提高功效需要降低报警阈值，但会增加误拦（α变大）。
• 增加样本量 = 升级更精密的探测器，让两个分布更“瘦高”，从而同时降低α和β。但升级需要成本（时间、资源）。

4. 常见误区

• 误区一：α=0.05意味着实验有95%正确率。纠正：α只描述H₀为真时的错误率，不反映总正确率。正确率还取决于β和真实效果大小。
• 误区二：功效越高越好，直接取0.99。纠正：高功效需要极大样本量，成本急剧上升；0.80是最常见的折中值，许多实验用0.80已足够。
• 误区三：α和β可以独立设置，不受样本量限制。纠正：在固定样本量下，α和β互为代价；只有增大样本量才能无损同时降低两者。

5. 练习题：权衡决策

解析思路：降低α意味着更严格的拒绝标准，需要更多数据才能检测到同样大小的效应，因此样本量增大。在α降低的基础上再提高功效，相当于同时收紧两个条件，样本量会进一步显著增大（通常数倍）。实践中需权衡业务风险与实验周期。

6. 应用边界：何时调整默认值？

• 高成本或高风险的改动（如重新设计核心购买流程）：可考虑更严格的α（0.01）以降低误判上线风险，同时保持功效≥0.90以快速捕获真实提升。
• 探索性/低成本实验（如文案微调）：可接受α=0.10以缩短实验周期，功效=0.70即可。
• 监管或医学场景（如药物副作用检测）：α常取0.001甚至更小，功效要求≥0.90。
• 注意：当预期效应量很小（如千分之一转化提升）时，即使α=0.05、1−β=0.80，样本量也可能高达百万级别；此时需审视业务是否真的需要检测这么小的效果。