1. A/B测试与统计显著性概述：定义、核心目标、决策闭环

1.1 核心定义

A/B测试（又称分桶测试、对照实验）是一种在两种（或多种）方案间进行对比的随机化实验方法。统计显著性则是判断观察到的差异是否由真实效果引起、而非随机波动的数学依据。

• 实验组（Treatment）：接受新方案的用户子集。
• 对照组（Control）：保持原方案的用户子集。
• 零假设（H₀）：两方案效果无差异。
• 备择假设（H₁）：两方案效果存在显著差异。
• p值：在零假设为真时，观察到当前极端结果的概率。p值＜显著性水平（通常0.05）则拒绝H₀。

1.2 核心目标：消除噪声，发现真实因果

A/B测试的终极目标不是“证明方案更好”，而是以可控、可复现、可量化的方式降低决策风险。通过统计显著性检验，我们可区分：

1.3 决策闭环：从假设到行动

A/B测试并非孤立实验，而是持续优化循环中的一环。下图展示了典型决策闭环：

1.4 类比：天气预报的“显著性检验”

想象气象局预测“明天下午3点有雨概率60%”。你决定出门带伞，结果下午3点没下雨。你是否立即认为预报系统无效？
合理的做法是：收集多天预报数据，用统计方法检验“预报准确率是否显著高于随机猜测”。
A/B测试的统计显著性与此类似——我们不是在单个样本上赌运气，而是在足够样本量下判断方案是否“真有效”。

1.5 常见误区

• 误区1：p值越小，效果越大 —— p值仅反映证据强度，不代表效应量。样本量极大时微小差异也能得到p＜0.001。
• 误区2：统计显著 = 业务显著 —— 显著差异可能只有0.1%转化率提升，但上线成本巨大，需结合业务成本判断。
• 误区3：多组比较时不做校正 —— 同时比较5个方案，每对比一次产生5%假阳性风险，多重比较需使用Bonferroni或FDR校正。
• 误区4：中途“偷看”数据并停止实验 —— 未预设停止规则会膨胀错误率，应使用序贯检验或提前固定样本量。

1.6 练习题：快速自测

1. 选择题：在一次转化率A/B测试中，实验组转化率10.2%，对照组9.8%，p=0.032。以下哪个说法正确？
   A. 实验组比对照组好0.4%，且这个差异是统计显著的。
   B. 实验组比对照组好0.4%，但差异太小没有业务价值。
   C. 有3.2%的概率两方案实际相同，但观察到了当前差异。
   D. 以上说法都不完全。
   （参考答案：D。p=0.032表示在零假设下出现当前差异的概率为3.2%，既需解释统计显著性，也需结合业务判断效应量。）
2. 简答：如果你在实验开始第2天看到p=0.01，能否立即停止实验并宣布胜利？为什么？
   （不能。提前停止会导致假阳性率严重膨胀，需要预设停止规则或使用序贯检验。）

1.7 应用边界

A/B测试并非万能药，以下场景需谨慎使用：