第1章 业务场景与适用范围

A/B 测试结果分析的优先级排序并非一刀切，其有效性高度依赖于实验所处的业务场景与适用范围。不同业务类型、数据量级、决策层级和假设前提，决定了后续排序方法的选择、统计功效的保障以及最终结论的可信度。本章系统建立分类框架，帮助分析人员在动手排序前先完成场景定位。

1.1 适用场景

适用场景从四个维度刻画：业务类型、数据量级、决策层级、适用假设。只有四者均明确且匹配，优先级排序的结果才具备业务指导意义。

1.2 前置条件

进入业务场景分析前，必须完成以下四项准备工作：

1. 实验设计文档：包含实验目的、分组方式、实验周期、核心指标定义。
2. 原始实验数据：至少包含用户 ID、分组标识、核心指标的观测值。
3. 指标定义清单：明确主指标、辅助指标、护栏指标及其计算公式。
4. 实验目标声明：由业务方与数据团队共同确认本次实验期望解决的问题。

1.3 操作步骤

按照以下四个步骤完成业务场景定位：

1. 识别业务类型 —— 根据产品或功能所属领域，对照“业务类型与特征对比表”确定类型，并记录对应的典型指标与周期。
2. 评估数据量级 —— 统计实验总样本量（用户数或事件数），对照“数据量级与分析方法对照表”确定量级区间。
3. 确定决策层级 —— 与决策者沟通，明确本次实验影响的是战术、运营还是战略层，记录责任人。
4. 验证适用假设 —— 逐项检查统计假设、业务假设、行为假设是否成立，填写假设验证检查表。

1.4 输入输出物

1.5 责任边界

1.6 记录材料

使用以下模板记录场景定位结果，该模板将作为后续优先级排序的输入档案：

【场景分类卡模板】

1. 业务类型：__________ (电商 / SaaS / 内容平台 / 金融 / 其他)
   典型指标：__________
   实验周期：__________

2. 数据量级：__________ (小样本 / 中样本 / 大样本)
   样本总数：__________
   推荐方法：__________

3. 决策层级：__________ (战术层 / 运营层 / 战略层)
   确认人：__________
   确认日期：__________

4. 适用假设验证：
   □ 统计假设通过 (检验方法：____，p值：____)
   □ 业务假设通过 (MDE：____，预期方向：____)
   □ 行为假设通过 (验证方法：____，结论：____)

验证人：__________  日期：__________

1.7 异常处理

1.8 验收标准

完成本章流程后，必须满足以下验收条件方可进入下一章（排序权重模板设计）：

1. 场景分类完成 —— 场景分类卡四个维度均填写完整，无空白项。
2. 假设验证通过 —— 统计假设、业务假设、行为假设均通过或已记录明确的替代方案。
3. 责任签字齐全 —— 数据科学家（步骤 2、4）、产品经理（步骤 1、4）、决策者（步骤 3）均已签字或确认。
4. 异常已关闭 —— 所有异常场景均已记录处理措施，且升级路径中的解决方案已执行。
5. 文档已归档 —— 场景分类卡与适用范围评估报告已上传至知识库，版本号与实验设计文档一致。