1. 课程全景与价值
1.1 定义与课程定位
A/B测试优先级排序是指在多组潜在A/B实验候选方案共存时，通过结构化评估模型对实验候选方案进行预期影响、实施成本、数据置信度和业务目标对齐度四维量化评分，最终输出一份可执行的实验执行顺序清单的决策方法。
本课程定位为流程SOP型实操课，学员将掌握从需求收集到实验落地的完整优先级排序工作流，并直接产出可用于实际项目的优先级排序矩阵和实验排期表。
预期收益（四维价值）
- 决策提效：将主观经验判断转化为可量化、可复现的评分模型，优先级决策时间缩短 40%~60%。
- 资源最优配置：确保高影响、低成本、高置信度的实验优先执行，避免研发与流量资源浪费。
- 组织对齐：建立统一优先级语言（P0~P3四级），消除跨部门评审中的标准歧义。
- 可追溯复盘：每次排序都有评分记录与权重依据，为后续实验效果归因提供结构化数据。
1.2 适用场景
| 场景类别 | 典型描述 | 优先级排序必要性 |
|---|---|---|
| 多需求并行排队 | 产品经理同时提交 5 个以上待验证功能，开发资源仅支持 2 个并行实验 | 必须排序，否则资源碎片化 |
| 流量预算有限 | 日均活跃用户仅覆盖 2 组 95% 置信度实验，候选实验池有 8 组 | 必须排序，优先高置信度实验 |
| 跨团队资源竞争 | 推荐组、搜索组、用户增长组同时申请实验排期 | 必须排序，建立跨团队评分标准 |
| 效果与风险权衡 | 某一实验预期收益高但涉及核心链路重构 | 必须排序，用风险系数修正优先级 |
| 季节性窗口约束 | 大促前 2 周仅能上线 1 个 UI 类实验 | 必须排序，匹配时间窗口与实验周期 |
1.3 前置条件
学员在进入本课程学习前，应具备以下基础能力与物料准备：
- 基础统计知识：理解假设检验、p 值、置信区间基本概念。
- A/B 测试基本认知：了解实验分组、流量分割、指标对比的典型流程。
- 业务指标清单：所在业务线的核心 OSM（目标-策略-度量）指标表。
- 候选实验列表：至少 3 个待评估的 A/B 实验方案（含预期目标与大致改动范围）。
- 工具准备：可编辑的在线表格（如 Google Sheets / 飞书多维表格 / Excel）。
提示：如果当前没有现成的候选实验列表，可先用课程配套的「实验候选方案模板」填写 3 个模拟需求，不影响后续实操练习。
1.4 核心流程全景
本课程将完整覆盖以下六步标准化流程，从需求输入到排序交付形成闭环。下图为全景框架：
1.5 输入输出物与交付物列表
本课程整体交付物清单如下，学员在完成全部 30 章学习后可输出完整物料包：
| 类别 | 交付物名称 | 格式 | 对应章节 |
|---|---|---|---|
| 输入物 | 候选实验需求清单 | 表格（.csv / .xlsx） | 第 2~3 章 |
| 输入物 | 核心业务 OSM 指标表 | 表格（.csv / .xlsx） | 第 4 章 |
| 核心产出 | 四维评分模型（含权重配置） | 表格 + 公式脚本 | 第 7~12 章 |
| 核心产出 | 优先级排序矩阵（P0~P3） | 表格 + 可视化看板 | 第 14~18 章 |
| 核心产出 | 实验排期甘特图 | 表格 / 飞书甘特视图 | 第 20~23 章 |
| 核心产出 | 优先级排序评审报告 | 文档（.doc / .md） | 第 25~27 章 |
| 过程记录 | 评分校准日志（含异常处理记录） | 表格 + 备注 | 第 8、16、28 章 |
| 验收物 | 排序结果复盘检查表 | 清单（.md / 表格） | 第 29~30 章 |
1.6 责任边界
| 角色 | 主要职责 | 决策权限 |
|---|---|---|
| 产品经理 | 提交候选实验需求，填写预期影响与目标指标 | 对需求真实性负责 |
| 数据分析师 | 执行四维评分计算，校验数据置信度与样本量 | 对评分客观性负责 |
| 技术负责人 | 评估实施成本与链路风险，给出技术可行性评分 | 对成本估算准确性负责 |
| 排序决策组 | 审核最终优先级矩阵，裁决跨团队争议 | 对排序结果审批通过 |
1.7 记录材料
在整个优先级排序流程中，需持续维护以下记录材料：
- 评分明细表：每个候选实验的四维评分原始数据与计算公式。
- 权重变更日志：当业务目标调整导致权重变化时，记录变更原因与时间戳。
- 评审会议纪要：每次排序评审的讨论要点、争议项与最终裁决。
- 异常处理登记表：记录评分异常、数据缺失、需求变更等异常事件及处理方案。
- 版本归档：每次排序结果的快照版本，用于后续效果对比与复盘。
注意：记录材料是排序可追溯性的基石。严禁在未记录权重变更理由的情况下直接修改评分，否则会导致复盘时无法还原决策依据。
1.8 异常处理
| 异常类型 | 典型表现 | 处理措施 |
|---|---|---|
| 需求信息不全 | 候选实验缺少预期收益或目标指标 | 退回产品经理补充完整后再进入评分 |
| 评分争议 | 多角色对某一维度评分差异超过 2 分（满分 10 分） | 召集三方校准会议，以数据证据为准重新评分 |
| 紧急插队需求 | 突发高优实验需插入现有排序 | 启动紧急评估通道，24h 内完成评分并调整矩阵 |
| 数据置信度不足 | 历史数据量不足以支撑影响评估 | 标记为“需预实验”，降级至 P3 并安排小流量验证 |
| 资源冲突 | 两个 P0 实验需要同一组研发资源 | 排序决策组裁决执行顺序，或拆分实验阶段 |
1.9 验收标准
学员完成本课程全部章节后，通过以下标准检验学习成果：
- 完整度：输出物清单中的 8 项交付物全部完成，无缺失项。
- 可复现：评分模型中的权重、公式、评分依据均记录清晰，第三人可独立复算出相同结果。
- 可执行：最终优先级矩阵可直接用于排期，每项实验标有明确的 P 级与建议执行时间窗口。
- 可追溯：异常处理登记表与权重变更日志完整覆盖流程中所有变更事件。
- 评审通过：排序结果经模拟评审（角色互评）得分 ≥ 85 分（满分 100 分）。