第4章 输出物清单——样本量估算的标准化交付件
样本量估算完成后，必须输出一套规范化的交付件，以确保估算结果可追溯、可复现、可审核。本章定义5类核心输出物的格式、内容与验收标准，覆盖从总量到结论的完整闭环。
4.1 适用场景
- 汇报提交：向实验委员会、产品或管理层提交样本量估算结论时，需附带完整交付件。
- 实验设计交接：数据科学家将估算结果移交给工程或产品团队进行分流配置时。
- 审计复现：事后审计或实验复盘需要核查当初的样本量估算依据与过程。
- 多方案比选：在同一实验中评估多个效应量或统计参数方案时，用于记录不同方案的输出差异。
最佳实践：输出物清单应在估算启动前就作为模板确定下来，避免估算完成后补填数据导致遗漏或误差。
4.2 前置条件
- 已选定样本量估算方法（公式法 / 模拟法 / 查表法）。
- 已明确所有输入参数：基线转化率 p₀、最小可检测效应 δ、显著性水平 α、统计功效 1−β、检验类型（单尾/双尾）。
- 已确定分流策略（等比例分流 / 非等比例分流）与实验组数。
- 已完成至少一轮试算，参数取值范围已收敛。
4.3 操作步骤
- 汇总输入参数：将基线转化率、最小可检测效应、显著性水平、统计功效、检验类型整理为参数卡片。
- 计算样本总量：根据所选公式或模拟结果，计算最小所需总样本量 N，并向上取整到百位。
- 计算每组分流量：按分流比例拆分实验组与对照组样本量；若为多组实验，依次计算各组分配。
- 填写估算过程记录表：将步骤1‑3的所有中间值与最终值填入标准记录表，保留至少2位小数。
- 生成敏感性分析表：对关键参数（δ、α、1−β）逐一做±20%变化，记录对应的样本量变化幅度。
- 撰写验收结论：基于上述4步结果，判断样本量是否满足实验约束，给出“通过 / 有条件通过 / 不通过”结论。
关键检查点：在步骤3完成后，务必校验 实验组样本量 + 对照组样本量 = 总样本量，误差须 ≤ 1‰。
4.4 输入输出物
| 输出物名称 | 输入来源 | 输出形式 | 用途 |
|---|---|---|---|
| 所需样本总量 | 估算公式 / 模拟输出 | 整数（人/次） | 明确最小实验规模 |
| 每组分流量 | 总量 + 分流比例 | 整数 + 百分比 | 指导分流配置 |
| 估算过程记录表 | 所有输入参数 + 中间计算 | 结构化的表格文档 | 审计与复现 |
| 敏感性分析表 | 参数变化范围 + 估算公式 | 多维对比表 | 评估估算稳健性 |
| 验收结论 | 前4项输出物 | 决策结论 + 建议 | 实验启动审批 |
4.5 责任边界
- 数据科学家 / 统计分析师：负责所有5项输出物的计算与填写，确保数字准确、方法可复现。
- 实验负责人（审核人）：审核输出物的完整性、参数合理性、结论可行性，签署验收意见。
- 产品经理 / 业务方：提供基线转化率、最小可检测效应等业务参数，确认业务约束边界。
- 工程团队：依据“每组分流量”配置实验平台的分流比例，并反馈配置结果。
常见权责不清：实验负责人往往跳过“敏感性分析表”审核，导致当实际效应量低于预期时，样本量不足无人追责。必须将敏感性分析表纳入强制审核项。
4.6 记录材料
以下两份模板为标准化记录材料，须随每次估算归档。
估算过程记录表（模板）
| 参数 / 步骤 | 符号 | 设定值 | 中间结果 | 备注 |
|---|---|---|---|---|
| 基线转化率 | p₀ | 0.12 | — | 历史数据7日均值 |
| 最小可检测效应 | δ | 0.015 | — | 相对提升12.5% |
| 显著性水平 | α | 0.05 | — | 双尾 |
| 统计功效 | 1−β | 0.80 | — | 行业默认值 |
| 检验类型 | — | 双尾 | — | — |
| 计算中间量 | z₍₁₋α/₂₎ | — | 1.960 | 查标准正态表 |
| 计算中间量 | z₍₁₋β₎ | — | 0.842 | 查标准正态表 |
| 所需样本总量 | N | — | 8,724 | 向上取整至百位 |
| 实验组占比 | r | 0.50 | — | 等比例分流 |
| 实验组样本量 | Nₜ | — | 4,362 | — |
| 对照组样本量 | Nₙ | — | 4,362 | — |
敏感性分析表（模板）
| 变动参数 | 变化幅度 | 参数值 | 所需样本总量 | 变动率 | 敏感性等级 |
|---|---|---|---|---|---|
| 最小可检测效应 δ | −20% | 0.012 | 13,632 | +56.3% | 高 |
| 最小可检测效应 δ | +20% | 0.018 | 6,064 | −30.5% | 高 |
| 显著性水平 α | −20% | 0.04 | 9,540 | +9.4% | 中 |
| 显著性水平 α | +20% | 0.06 | 8,028 | −8.0% | 中 |
| 统计功效 1−β | −20% | 0.64 | 6,384 | −26.8% | 高 |
| 统计功效 1−β | +20% | 0.96 | 12,864 | +47.5% | 高 |
敏感性等级判定规则：变动率 ≤ 10% 为低；10% ~ 30% 为中；≥ 30% 为高。评级为“高”的参数在实验中须严格监控。
4.7 异常处理
| 异常现象 | 可能原因 | 处理措施 |
|---|---|---|
| 所需样本总量为负数或NaN | 效应量符号错误 / 公式代入错误 | 复查输入参数符号与公式结构，重新计算 |
| 分流量加总 ≠ 总量 | 分流比例四舍五入累计误差 > 1‰ | 采用“舍入后总量反算”或保留更高精度 |
| 敏感性分析中变动率 > 100% | 基线参数接近边界（δ 过小） | 建议增大样本量或放宽最小可检测效应 |
| 验收结论与经验预期严重不符 | 参数背离业务实际 / 估算方法选择不当 | 组织三方会审，重新校准业务参数 |
| 记录表中间结果无法复现 | 跳步计算 / 使用了未记录的查表值 | 补全所有中间步骤，附查表来源截图 |
最容易忽略的异常：“每组分流量”中实验组与对照组比例极端（如 9:1）时，统计功效会大幅下降。此时须在输出物中额外标注“非等比例功效校正系数”。
4.8 验收标准
以下清单用于验收输出物是否合格，须逐项检查并记录结果。
| 检查维度 | 验收项 | 合格标准 | 结果 |
|---|---|---|---|
| 完整性 | 5类输出物是否齐全 | 数量类、文档类、结论类全部存在 | □ 是 □ 否 |
| 参数一致性 | 估算过程记录表中的输入参数是否与业务确认值一致 | 逐项比对，误差 ≤ 0.1% | □ 是 □ 否 |
| 计算正确性 | 样本总量与分流量是否满足 Nₜ + Nₙ = N | 误差 ≤ 1‰ | □ 是 □ 否 |
| 敏感性覆盖 | 敏感性分析表是否覆盖 δ、α、1−β 三个参数 ±20% | 至少6行数据，参数变化方向完整 | □ 是 □ 否 |
| 结论明确性 | 验收结论是否给出“通过 / 有条件通过 / 不通过” | 结论与敏感性分析匹配，无歧义 | □ 是 □ 否 |
| 文档规范性 | 记录表与敏感性分析表是否使用标准模板 | 表头、单位、符号、版本号齐全 | □ 是 □ 否 |
| 签章完整性 | 是否包含计算人、审核人签名与日期 | 所有交付件均有电子或手写签章 | □ 是 □ 否 |
| 综合判定：所有检查项均为“是”方可归档；任一“否”须退回整改。 | |||
归档格式要求：所有输出物须合并为一个 PDF 文件，按“项目名_实验名_样本量估算_版本号_日期.pdf”命名，内部按“总量→分流量→记录表→敏感性分析→结论”顺序排列。