第1章 A/B测试结果接收与初步筛选
适用场景
本章适用于以下情况：
- A/B测试实验周期结束，需要从实验平台或数据仓库下载原始结果数据。
- 数据产品经理、数据分析师或算法工程师需要对A/B测试的原始结果进行第一轮质量检查与初步结论判定。
- 团队需要快速识别哪些指标在统计上显著且业务上值得关注，避免直接陷入复杂模型分析。
前置条件
- A/B测试实验已完成，至少累积了预设的最小样本量。
- 具备实验平台的查询权限，或已获取包含实验组/对照组结果的导出文件。
- 团队内已约定统一的A/B测试结果输出格式（如CSV、JSON或数据表字段）。
- 业务方已提供核心指标的业务显著性阈值（例如：转化率提升≥0.5pp视为业务显著）。
操作步骤
- 接收结果文件/数据源：从实验平台下载或通过API拉取A/B测试的原始结果，包含实验组与对照组的样本量、均值、标准差、置信区间等。
- 校验格式完整性：确认结果文件字段完整（至少包含：指标名称、实验组均值/总量、对照组均值/总量、p值或置信区间、效应量）。若字段缺失，返回数据源补全。
- 运行统计显著性检验：对每个核心指标计算或验证p值是否小于预设显著性水平（通常α=0.05），筛选出统计显著（p<0.05）的指标。
- 评估业务显著性：对统计显著的指标，比较效应量（如均值差、转化率提升百分点）是否超过业务方预先设定的最小可接受改善值。
- 标记待评估指标：将同时满足统计显著且业务显著的指标标记为“高优先级”；仅统计显著但业务不显著的标记为“低优先级—需核实”；其余归为“待观察”。
- 输出初步结果摘要：生成包含分类标签的汇总表，供后续章节深入分析。
关键提示：统计显著 ≠ 业务显著。切勿仅凭p值＜0.05就判定指标必须调整，务必结合业务成本与收益阈值。
输入输出物
| 类别 | 名称 | 格式/来源 | 说明 |
|---|---|---|---|
| 输入 | A/B测试原始结果 | CSV / JSON / 数据库表 | 实验组与对照组各指标的均值、样本量、p值、置信区间 |
| 输入 | 业务显著性阈值文档 | 内部标准（Excel/SOP） | 各指标的最小业务改善值（如转化率≥0.5pp，留存率≥1%） |
| 输出 | 初步指标分类汇总表 | CSV / 数据看板 | 含标记：高优先级、低优先级、待观察 |
| 输出 | 待评估指标列表（标记后） | 后续流程输入 | 仅包含高优先级与低优先级待核实指标 |
责任边界
| 角色 | 职责 | 不负责 |
|---|---|---|
| 数据分析师 | 下载结果、校验格式、执行统计显著性检验 | 不负责判定业务是否采纳；不负责调整实验配置 |
| 业务方/产品经理 | 提供业务显著性阈值；确认“高优先级”指标是否值得投入 | 不负责具体统计计算；不负责数据清洗 |
| 数据工程师 | 保证结果数据接口/文件准时到达、字段完整 | 不负责指标筛选逻辑 |
记录材料
- 结果接收日志：记录接收时间、来源、文件MD5（防篡改）。
- 格式校验检查清单：逐字段确认并签字（可电子化）。
- 显著性检验结果表：含原始p值、业务阈值对比、标记原因。
- 标记记录：谁在什么时间对哪些指标做了何种标记，便于追溯。
异常处理
- 结果文件字段缺失或格式不符：返回数据提供方重新导出，记录事件并影响后续流程时间评估。
- p值计算结果与平台不一致：优先信任平台内置检验，若偏差＞0.01，则手动复算并更新数据。
- 业务显著性阈值未提前定义：暂停评估，召集业务方紧急会议，24小时内补充阈值。
- 样本量极不均衡（如实验组仅对照组10%）：标记为“样本偏移”，不进入显著性判断，直接归入“待观察”，需重新设计实验。
风险提醒：若未校验格式直接进入统计计算，极易因字段错位导致p值误算，务必在步骤2严格执行格式校验。
验收标准
- 所有输入结果均已完成格式校验，无缺失字段。
- 统计显著性检验结果记录完整（p值、效应量、置信区间）。
- 每个指标均按规则标记（高优先级/低优先级/待观察），标记原因可溯源。
- 输出摘要表已包含至少：指标名、实验组数据、对照组数据、p值、业务阈值对比、标记分类。
- 异常记录条目≥1条时，已归档并通知相关责任方。