第3章：输入物准备
核心地位：输入物是样本量估算的“原材料”，其准确性直接决定估算结果是否可靠。本章详细拆解每项输入物的来源、标准与准备方法。
3.1 适用场景
本步骤适用于所有需要预先计算样本量的A/B测试，包括但不限于：
- 转化率类指标（如注册率、购买率）的假设检验样本量估算
- 均值类指标（如客单价、停留时长）的假设检验样本量估算
- 单尾或双尾检验、均衡或非均衡分配比例场景
- 需要控制第一类错误（α）和第二类错误（β）的正式试验
3.2 前置条件
- 已明确测试指标类型（比率型 / 均值型）
- 历史业务数据可访问（如埋点数据库、报表系统）
- 业务方已提出预期提升幅度（MDE – 最小可检测效应）
- 统计置信度与功效标准已由团队共识确定
- 样本分配机制可编程实现（如随机分桶）
3.3 操作步骤
- 采集历史基线数据
- 比率指标：提取最近稳定期的转化率（如过去30天整体转化率），记为
p0 - 均值指标：提取历史样本均值（
μ0）与标准差（σ0） - 数据量建议至少覆盖1000条以上，剔除异常时间段（如大促、故障期）
- 比率指标：提取最近稳定期的转化率（如过去30天整体转化率），记为
- 确定预期提升幅度
- 绝对提升：
Δ_abs = p1 - p0（比率指标）或Δ_abs = μ1 - μ0（均值指标） - 相对提升：
Δ_rel = (p1 - p0) / p0，通常由业务方给出 - 注意：幅度不能过小（易导致样本量过大）或过大（不切实际），建议参考历史最优实验或行业基准
- 绝对提升：
- 设定样本分配比例
- 均衡分配：对照组与实验组按1:1分配，样本量比为1
- 非均衡分配：如2:1、3:1等，需明确对照组与实验组分配系数
k（对照组样本量 / 实验组样本量） - 非均衡分配适用于流量受限或实验组设计复杂的情况
- 确认置信度与功效标准
- 置信度
1 - α：常用 α = 0.05（双尾）或 0.025（单尾） - 统计功效
1 - β：通常取 0.80 或 0.90；β越大所需样本量越多 - 行业常见组合：α = 0.05（双尾），β = 0.20（功效80%）
- 置信度
- 整理输入物清单（见下表）并交付给样本量计算环节
3.4 输入输出物
| 类别 | 输入物 | 说明 |
|---|---|---|
| 基线数据 | 基线转化率 p₀（比率） | 历史稳定期转化率，如 0.12 |
| 基线均值 μ₀ / 标准差 σ₀（均值） | 历史指标均值与标准差，如 μ₀=150, σ₀=30 | |
| 效应量 | 预期提升幅度 Δ（绝对或相对） | 如绝对提升 0.02（2个百分点） |
| 分配比例 | 分配系数 k（对照/实验） | 1:1 时 k=1；2:1 时 k=2 |
| 统计标准 | 显著性水平 α / 功效 1-β | 如 α=0.05, 1-β=0.80 |
输出物：一份结构化的《样本量估算输入参数表》，包含以上所有字段及数值来源说明。
3.5 责任边界
- 业务方（产品/运营）：提供预期提升幅度、测试指标定义、分配比例业务需求
- 数据分析师/统计师：获取历史基线数据、检查数据质量、设定α和β标准
- 工程/数据平台：提供历史数据提取通道，确保分配比例可在试验配置中实现
3.6 记录材料
每次输入物准备完成后，应记录以下材料供后续审计与复盘：
- 基线数据提取SQL或查询语句、时间范围、过滤条件
- 预期提升幅度的业务决策会议纪要或文档
- 分配比例与统计标准的确认记录（邮件或对话截图）
- 输入参数表（CSV/Excel/数据库记录）
3.7 异常处理
| 异常类型 | 现象 | 处理措施 |
|---|---|---|
| 历史数据不足 | 历史样本量 < 1000 或时间段内波动剧烈 | 扩展时间窗口（如90天），或使用行业基准值；标记数据质量风险 |
| 预期提升幅度未定义 | 业务方无法给出数值 | 引导使用“最小业务重要效应”替代，或参考历史实验最小提升值 |
| 分配比例导致流量浪费 | 如实验组分配过多但流量不足 | 采用非均衡分配或减少实验组比例，需重新计算所需样本量 |
| α/β标准冲突 | 团队要求α=0.01且功效=0.95 | 计算样本量后评估可行性，若超出业务流量上限则协商放宽标准 |
3.8 验收标准
- 所有输入物均已填写且来自可靠数据源或业务决策
- 基线数据提取脚本可复现，且经过盘查（如剔除异常值、检查缺失率）
- 预期提升幅度有量化定义和业务签字确认
- 分配比例与实验平台可支持的配置一致
- α与β值满足公司最小统计标准（如α≤0.05, 功效≥0.80）
- 输入参数表已存档，版本号与实验计划ID关联