1. A/B测试结果分析概述
1. 适用场景
本章定义的A/B测试结果分析流程与量化决策框架，适用于以下产品与运营决策场景：
- UI/UX改版验证： 新交互流程、页面布局、按钮文案、视觉样式上线前的小流量对比。
- 算法策略调优： 推荐排序、广告投放、搜索匹配、定价逻辑的效果评估。
- 功能模块开关： 新功能灰度发布中的效果归因与风险控制。
- 运营策略评估： 弹窗频次、推送文案、权益发放方式对核心指标的撬动作用。
场景判断要点： 实验必须满足“单变量+可分流+可量化”三要素；若同时改动多个变量或无法随机分流，则不适用本章方法，应改用多因素实验或准实验设计。
2. 前置条件
| 前置条件 | 说明与检查标准 |
|---|---|
| 实验已上线并收集到完整数据 | 实验组与对照组各自累计样本量 ≥ 最小样本量要求，且无中途停止或调参行为 |
| 数据已通过质量检查 | 无异常空值、重复用户ID、实验标签错乱、跨期分流污染 |
| 指标体系已对齐业务目标 | 至少定义1个核心指标（OEC，Overall Evaluation Criterion）和2-3个护栏指标 |
| 已确定显著性水平 α 和统计功效 1-β | 默认 α=0.05，1-β≥0.8；若涉及高成本改动可收紧 α=0.01 |
3. 操作步骤
结果分析阶段按“归因→计算→检验→解读→决策”五步执行：
- 归因确认： 验证实验组与对照组分流均匀（检验人口统计、历史行为分布），确认无流量泄露或交叉污染。
- 指标计算： 按预先定义的统计口径，分别计算各组核心指标与护栏指标的均值、方差、样本量。
- 假设检验： 选择适当的检验方法（两样本t检验、Mann-Whitney U检验或卡方检验），计算p值与置信区间。
- 结果解读： 判断统计显著性（p < α）与实际显著性（效果量 ≥ 最小可检测效应MDE），综合护栏指标是否异常波动。
- 量化决策： 将实验结论映射为业务损益估算，输出“上线/回滚/继续观测”的决策结论。
4. 输入输出物
| 输入物 | 输出物 |
|---|---|
| 实验设计与配置（实验ID、分组标识、时间段） | 《A/B测试结果分析报告》 含指标看板、检验结论、量化决策建议 |
| 用户行为与结果明细数据（CSV/Parquet/数仓表） | 决策记录卡（是否上线 + 预期收益 + 风险标签） |
| 指标定义文档（含SQL或计算脚本） | 异常数据处置清单（如分流不均、指标缺失等问题记录） |
5. 责任边界
- 数据分析师： 负责指标计算、假设检验、置信区间与效果量估算，输出公正的统计结果。
- 产品经理/业务方： 负责解读结果与业务场景的结合，评估改动的隐性成本与长期影响，最终签署决策。
- 数据工程师/实验平台运维： 负责提供清洗后的可信数据、实验分流日志、指标大盘，并负责异常数据的溯源与修正。
6. 记录材料
本章节涉及的记录材料模板如下，供后续章节详细使用：
- 指标看板记录表： 包含指标名称、计算口径、实验组均值、对照组均值、lift、p值、置信区间、是否显著。
- 异常处理日志： 记录数据质量问题的类型、影响范围、修复方式与结果。
- 决策评审单： 记录决策人、决策时间、决策结论、关键参考指标快照、留存备查。
7. 异常处理
| 异常类型 | 处理动作 |
|---|---|
| 分流不均（SRM，Sample Ratio Mismatch） | 立即停止分析，排查实验配置或平台分流逻辑，修复后重新收集数据；不得强行解读。 |
| 核心指标缺失或数据异常偏低 | 检查埋点与ETL链路，过滤掉异常日期或异常用户段后重算。 |
| 护栏指标显著下降 | 触发风险预警，无论核心指标是否显著，均需要先评估副作用再决策。 |
| 样本量不足达到预定观测周期 | 延长实验周期至满足最小样本量，或接受放宽的置信区间并标记“弱证据”。 |
8. 验收标准
- 分析流程完整覆盖“归因→计算→检验→解读→决策”全链路，无跳跃或主观臆断。
- 所有指标计算可复现，p值与置信区间结果与原始数据核对一致。
- 分析报告包含清晰的量化决策结论，并注明决策依据的置信水平、效果量与护栏指标状态。
关键量化原则： 分析阶段需坚守“先统计后业务”顺序。严禁仅凭绝对值大小直接决策；必须通过假设检验排除随机波动干扰后，再结合业务成本与收益做最终决断。