第4章 A/B测试基础回顾：实验变量、假设类型、样本量计算、统计分析要点、最小可检测效应
适用场景
- 团队首次引入RICE置信度校准，需要确保实验设计符合统计学规范。
- 已有A/B测试经验，但需系统化梳理变量定义、假设检验和样本量逻辑，避免常见错误。
- RICE置信度评分中“证据强度”维度需依赖实验统计效力，该章节提供底层的计算与判断依据。
- 跨职能角色（产品经理、数据工程师、分析师）对齐A/B测试基础术语与流程。
前置条件
- 团队已完成RICE评分框架的置信度基础概念培训（如第3章内容）。
- 实验平台（如内部A/B测试系统或第三方工具）已就绪，支持随机分组和日志埋点。
- 业务核心指标（如转化率、留存率）已明确定义，且可通过统计模型量化。
- 历史数据可用，用于估算基线值和标准差。
操作步骤
- 定义实验变量 – 明确自变量（干预/对照组差异）和因变量（核心指标）。
- 设定假设类型 – 选择单侧检验（预计方向）或双侧检验（仅关心差异是否存在）。
- 计算样本量 – 输入参数：显著性水平α（通常0.05）、统计功效1-β（通常0.8）、最小可检测效应（MDE）、基线绝对或相对值。使用标准公式或在线计算器。
- 运行实验 – 保证随机分流、样本不重叠、实验时长至少覆盖一个完整业务周期。
- 统计分析 – 计算p值、置信区间，判断是否在预设α下拒绝原假设；同时验证最小可检测效应是否实际达到。
输入输出物
| 输入物 | 输出物 |
|---|---|
| 基线指标值（如当前转化率5%） | 自变量与因变量定义文档 |
| 历史标准差（如0.02） | 假设类型声明（单侧/双侧） |
| 显著性水平α、功效1-β、MDE | 样本量计算结果（最小分组人数） |
| 实验分组数据和原始埋点 | 统计检验结果（p值、置信区间、是否显著） |
| 实际观测效应量 | MDE是否被检测到的判断记录 |
责任边界
- 产品经理：定义实验变量和假设方向，确认MDE的业务可接受阈值。
- 数据科学家/分析师：执行样本量计算、统计分析，输出检验结论。
- 开发/工程：保证分流逻辑正确、埋点完整、实验时长可控。
- 数据运营：监控实验期间流量异常，排除新奇效应或转移效应。
记录材料
实验设计文档模板（摘录）
实验名称：
自变量/因变量：
假设类型（H₀/H₁）：
α 值：1-β 值：MDE（绝对/相对）：
样本量计算结果：
统计分析结果：p=__ 置信区间 [__,__] 是否拒绝H₀：
实际效应量 vs MDE：
结论与置信度校准建议：
实验名称：
自变量/因变量：
假设类型（H₀/H₁）：
α 值：1-β 值：MDE（绝对/相对）：
样本量计算结果：
统计分析结果：p=__ 置信区间 [__,__] 是否拒绝H₀：
实际效应量 vs MDE：
结论与置信度校准建议：
异常处理
- 样本量不足：检查MDE是否设置过小；可延长实验周期或接受更大MDE。
- 统计显著但效应量极小：无实际业务意义，需结合MDE阈值判定是否值得投入。
- 分流不均/流量波动：检查随机种子和分流算法，必要时重启实验。
- 多重比较问题：若同时观测多个指标，需应用Bonferroni校正或FDR控制。
验收标准
- 实验变量和假设类型书面记录，经PM和数据分析师签字确认。
- 样本量计算过程完整，参数来源可追溯（基线数据、α、1-β、MDE）。
- 统计分析使用的公式或代码版本已归档，p值和置信区间可复现。
- 最小可检测效应（MDE）与实际检测到的最小效应量比较，形成结论。
- 所有异常处理记录在实验设计文档的“变更日志”中。
实践提示： 在RICE置信度中，推荐将MDE设置为“业务认为有意义的绝对变化幅度”（例如转化率提升0.5个百分点），并据此反复校验样本量是否可得。如果平台无法满足样本量，则RICE置信度必须下调。