3. 显著性水平α的选择：0.05的由来、行业惯例、调整依据
3.1 概念解释：α到底是什么？
显著性水平（Significance Level）记作 α，是A/B测试中判断结果是否“显著”的决策门槛。它定义了：
- 假阳性概率——当对照组与实验组实际上没有差异（原假设为真）时，你错误地宣称“有显著差异”的概率上限。
- 通俗理解：每做100次无差异的测试，最多允许5次出现“假阳性”结果（α = 0.05时）。
α并不是“差异有多大的指标”，而是一个风险容忍度。选择α = 0.05意味着你愿意接受5%的犯错风险。
核心公式： P(拒绝 H₀ | H₀为真) ≤ α
3.2 0.05的由来：一位统计学家与一盒香烟
0.05这个数值的起源可以追溯到1925年，英国统计学家罗纳德·费希尔（Ronald Fisher）在其著作《研究者的统计方法》中首次提出。费希尔认为，当p值小于0.05时，结果“值得注意”。他选取0.05既非数学推导，也非实验验证，而是基于他个人的直觉判断——相当于在正态分布曲线中两侧尾部各占2.5%（或单侧5%）。
费希尔曾在课堂上用一个经典比喻：
“如果你声称‘某支香烟品牌更呛人’，但证据只是差异恰好发生在5%的尾部，你应当再抽一支烟核实。” —— Fisher
从此，0.05这个边界值被学术界和工业界广泛采用，成为默认惯例。
3.3 行业惯例：不同场景下的α选择
| 场景 | 常用α值 | 理由 |
|---|---|---|
| 网页UI改版、按钮颜色、文案测试 | 0.05 | 风险低，迭代快，允许一定假阳性 |
| 医疗临床试验（新药有效性） | 0.01 或更小 | 假阳性可能危害生命，需极低风险 |
| 金融交易策略（高频策略） | 0.001 甚至 0.0001 | 连串假阳性会导致巨额损失 |
| 探索性数据分析（EDA） | 0.10 或 0.15 | 旨在发现线索，可容忍更多假阳性 |
| 多假设检验（如基因表达研究） | 调整后α（Bonferroni校正等） | 避免多重比较导致整体假阳性膨胀 |
3.4 调整依据：什么时候该改α？
3.4.1 样本量与检验功效
α与第二类错误β（假阴性）紧密相关。降低α会使得拒绝原假设更难，从而增加β，减少统计功效（1 – β）。如果你样本量固定且较小，设α = 0.01可能永远也检测不出中等效应。这时需要权衡：
- α = 0.05：适合中等样本量（1000 – 10 万用户）
- α = 0.01：适合超大样本量（百万级以上）或高风险决策
- α = 0.10：适合探索性测试或极低成本改动
3.4.2 多重比较校正
当你在同一实验中多次检验多个指标或多个变体时，整体假阳性率会上升（族系误差率）。常用调整方法：
- Bonferroni校正：α_new = α_original ÷ 比较次数。例如10个指标，α = 0.05 → 每个指标用 0.005。
- Benjamini-Hochberg (BH) 校正：控制错误发现率（FDR），适合探索性分析。
- Holm-Bonferroni：比Bonferroni更宽松，逐步调整。
# Python示例：Bonferroni校正
from scipy.stats import false_discovery_control
p_values = [0.01, 0.04, 0.12, 0.003]
alpha_original = 0.05
n_comparisons = len(p_values)
bonf_threshold = alpha_original / n_comparisons # 0.0125
print(f"Bonferroni adjusted threshold: {bonf_threshold:.4f}")
# 仅p<0.0125的指标显著3.5 原理图解：显著性水平的决策边界
3.6 常见误区
- 误区：α 越大，结果越可信。
事实：α 是错误阈值，不是置信度。α=0.05 表示 5% 的假阳性风险，不是 95% 的“真实差异概率”。 - 误区：α 必须固定为 0.05，不能修改。
事实：α 应根据场景灵活调整，FDA 临床试验常使用 α=0.01 甚至更小。 - 误区：p < α 就代表“有实际效果”。
事实：统计显著 ≠ 实际显著。大样本下微小差异也能变得“显著”，需要结合效应量判断业务价值。 - 误区：Bonferroni 校正会导致假阴性大量增加。
事实：当比较次数很少（如3个以下），Bonferroni 影响有限；但超过10次时，建议用 BH 校正平衡假阳性和假阴性。
3.7 练习题
题目 1：某A/B测试同时检验5个独立指标（转化率、留存率、点击率、页面停留时间、跳出率）。你希望整体族系误差率控制在 0.05 以内，使用 Bonferroni 校正，每个指标对应的显著性水平应为多少？
参考答案：0.05 / 5 = 0.01。每个指标只有 p < 0.01 时才判定显著。
参考答案：0.05 / 5 = 0.01。每个指标只有 p < 0.01 时才判定显著。
题目 2：你正在做探索性用户行为分析，计划跑20个假设。如果使用 α = 0.05，按预期会得到多少个假阳性结果（假设所有假设的 H₀ 都为真）？
参考答案：20 × 0.05 = 1 个。即平均20个测试中会有1个“假阳性”。这就是为什么探索性分析常使用更高的 α（如 0.10）或调整方法。
参考答案：20 × 0.05 = 1 个。即平均20个测试中会有1个“假阳性”。这就是为什么探索性分析常使用更高的 α（如 0.10）或调整方法。
3.8 应用边界：什么时候不该用 0.05
- 极高风险场景：如安全系统改版（导致数据泄露）、医疗诊断（误报导致误诊），α 应设为 0.001 或更低。
- 探索性阶段：当目标不是验证而是生成假设时，α 可放宽至 0.10 甚至 0.20。
- 海量比较：基因表达、推荐系统特征筛选等可能涉及数千个假设，必须使用 FDR 校正或更精巧方法。
- 小样本 + 大效应：如果预期效应极大（如转化率翻倍），可考虑 α = 0.05 仍适用，但小样本可能导致功效不足。
注意：不要盲从 0.05。每次测试前应明确定义 α，并在实验报告中标明调整方法。Fisher 本人也强调：“0.05 是方便的建议值，不是铁律。”