1. A/B测试基础概念
1.1 什么是A/B测试
A/B测试（又称拆分测试或桶测试）是一种对比实验方法，用于比较两个或多个版本的页面、功能或策略，以确定哪个版本在预设的核心指标上表现更优。其本质是控制变量法在数据驱动决策中的工程化实现。
在典型的A/B测试中，流量被随机分为两组：
- 对照组（Control Group）：暴露于现有版本（A版本），作为基准参照。
- 实验组（Treatment Group）：暴露于新版本（B版本），包含待验证的改动。
通过对比两组在转化率、点击率、留存率等关键指标上的差异，结合统计显著性检验，判断B版本是否显著优于A版本，从而做出是否全量上线的决策。
核心认知：A/B测试不是简单的“A好还是B好”的投票，而是一种带有统计推断的因果识别工具。它帮助我们区分“真实效果”与“随机波动”。
1.2 A/B测试的核心要素
一个严谨的A/B测试必须包含以下六大核心要素，缺一不可：
| 要素 | 说明 | 常见误区 |
|---|---|---|
| 随机化 | 用户被随机、独立地分配到各组，消除选择偏差 | 按用户ID奇偶分桶，导致组间不均衡 |
| 对照组 | 提供“不做改变”的基准表现，作为比较基线 | 无对照组，仅对比实验前后数据（受时间效应污染） |
| 单一变量 | 每次只改变一个因素，确保效果可归因 | 同时修改文案、颜色、布局，无法定位哪个改动生效 |
| 样本量 | 基于统计功效分析预先计算，保证检验灵敏度 | 样本量过小，导致假阴性（错过真实效果） |
| 核心指标 | 预先定义1-2个主要评估指标，避免“偷看数据” | 实验结束后临时挑选“显著”的指标作为胜利指标 |
| 统计显著性 | 使用p值或置信区间判断结果是否由随机误差引起 | 只看百分比差异，忽略统计检验，被随机波动误导 |
⚠️ 避坑提醒：“单一变量”原则常被误解。如果改动涉及多个不可分割的组件（如整个新首页），应将其视为一个复合变量，并在实验后通过拆解分析或多因素测试进一步定位具体影响因子。
1.3 A/B测试与假设检验的关系
A/B测试的统计推断过程，本质上就是假设检验的完整应用。两者之间的关系可以用以下流程来刻画：
从统计学的角度看，A/B测试的每一步都对应着假设检验的标准流程：
- 建立假设：原假设H₀（两组指标无差异） vs 备择假设H₁（两组指标有显著差异）。
- 选择检验统计量：根据指标类型（二值/连续）选择z检验、t检验或卡方检验。
- 设定显著性水平α：通常取0.05，表示愿意承担5%的假阳性风险。
- 计算p值：在H₀为真的前提下，观察到当前结果（或更极端结果）的概率。
- 做出决策：若p值 < α，拒绝H₀，认为B版本显著优于A版本；否则，不拒绝H₀，维持现状。
📌 关键理解：假设检验为A/B测试提供了数学严谨性。没有假设检验，A/B测试就退化为“凭感觉看数字”，容易陷入“反复偷看数据”和“追逐统计显著”的陷阱。两者结合，才能做出可复现、可信任的数据驱动决策。
1.4 两类错误与统计功效
在A/B测试的假设检验中，存在两类不可避免的错误，理解它们是正确解读实验结果的前提：
| 错误类型 | 统计名称 | 实际含义 | 后果 | 控制方法 |
|---|---|---|---|---|
| 第一类错误 | α（假阳性） | B版本实际无效，但检验结果认为有效 | 上线无效功能，浪费开发资源 | 降低α（如设为0.01） |
| 第二类错误 | β（假阴性） | B版本实际有效，但检验结果认为无效 | 错过增长机会，竞争对手抢先 | 增加样本量，提高统计功效 |
统计功效（Power = 1 - β） 是实验设计阶段的关键参数，它衡量了当真实效果存在时，实验能够正确检测出该效果的概率。通常要求统计功效达到 0.8 以上。
💡 实践建议：在启动A/B测试前，使用样本量计算器（基于预期效果大小、α=0.05、Power=0.8）预估所需样本量。不要等到实验结束后才发现“样本不够，无法下结论”。