第2章 前置条件梳理
在启动基于 A/B 测试的优先级排序流程之前，必须确认组织已具备以下五项核心前置条件。缺少任何一项都可能导致排序结果失准、实验周期延误或决策争议。本章逐一拆解每项条件的具体要求、验收标准与责任边界，并提供可即用的检查清单。
2.1 数据基础
优先级排序依赖用户行为数据与业务指标数据。数据必须覆盖完整的用户链路，且质量达到可分析级。
| 数据维度 | 必需字段 | 质量要求 | 验收标准 |
|---|---|---|---|
| 用户行为 | 用户ID、事件名、页面路径、时间戳、实验ID、版本号 | 埋点覆盖率 ≥ 95%，事件丢失率 < 2% | 单日行为日志 ≥ 10 万条，可回溯 90 天 |
| 业务指标 | DAU/MAU、转化率、ARPU、留存率、NPS | 指标口径文档化，T+1 可用 | 核心指标看板已上线，每日自动刷新 |
| 实验专属 | 实验分组标识、分流比例、触发条件 | 实验标记与行为数据可关联 | 可通过实验ID 90 秒内提取全量样本 |
责任角色：数据工程师负责采集与质量监控，数据分析师负责指标口径定义与验收。
⚠️ 异常处理：若数据覆盖率不足或历史数据缺失，应优先启动埋点补全与数据回刷，在数据验收通过前不得进入排序流程。
2.2 实验平台
实验平台是排序落地的执行载体。平台能力直接影响实验效率与结果可信度。
| 功能模块 | 具体要求 | 验收标准 |
|---|---|---|
| 分流引擎 | 支持用户ID、设备ID、会话ID 三种分流粒度；分流哈希均匀 | 分流差异 < 0.5%，可实时查看各分组人数 |
| 指标计算 | 支持比率类、均值类、分位数类指标；提供置信区间与 p 值 | 指标计算结果与离线 SQL 比对误差 < 1% |
| 监控告警 | 实验启动 24h 内自动检测分流异常、指标抖动 | 告警延迟 < 5 分钟，可推送至企微/钉钉 |
| 权限管理 | 实验创建、指标查看、停止实验三级权限分离 | 权限配置清单已签署，定期审计 |
责任角色：平台运维工程师保障平台可用性，数据分析师验收指标计算准确性。
⚠️ 异常处理：若平台暂不支持所需指标或分流粒度过粗，应优先安排平台升级或采用代理实验方案，禁止在未达标平台上直接排序。
2.3 团队角色
优先级排序需要跨职能协作，角色缺失或职责模糊将导致决策卡顿。
| 角色 | 核心职责 | 人数要求 | 技能要求 |
|---|---|---|---|
| 排序负责人 (通常为产品经理) |
收集候选实验、组织排序会议、输出优先级列表 | ≥ 1 人 | 熟悉业务目标与 A/B 测试流程 |
| 数据分析师 | 提供数据支持、计算预期收益、评估历史实验 | ≥ 1 人 | 熟练使用 SQL 与统计检验工具 |
| 开发工程师 | 评估实验实现成本、确认排期窗口 | ≥ 1 人 | 了解所负责模块的技术架构 |
| 决策者 (通常为技术/产品负责人) |
审批最终排序结果、协调资源冲突 | ≥ 1 人 | 具备业务全局视角与决策权 |
责任边界：排序负责人对排序流程完整性负责，数据分析师对数据与收益估算准确性负责，开发工程师对成本评估真实性负责，决策者对最终排序结果负责。
⚠️ 异常处理：若核心角色空缺，应暂缓排序流程，由部门负责人指定临时替补或调整角色分工，直至各角色职责明确。
2.4 排期窗口
实验需要连续稳定的流量与版本环境。排期窗口管理不当会引入混淆变量。
| 维度 | 要求 | 验收标准 |
|---|---|---|
| 实验持续时间 | 至少覆盖 7 个自然日，包含完整的周中与周末 | 实验排期表已锁定，无中途打断风险 |
| 并行实验上限 | 同一层流量同时运行实验 ≤ 3 个，避免流量干扰 | 并行实验清单已登记，无重叠流量冲突 |
| 版本冻结期 | 实验窗口内核心版本不发布；若必须发布需提前报备 | 版本发布日历与实验窗口无冲突 |
| 节假日/大促 | 大流量事件期间不启动新实验，已有实验需评估是否暂停 | 实验窗口已避开已知重大活动 |
责任角色：排序负责人与开发工程师共同确认排期窗口，决策者对窗口冲突进行最终仲裁。
⚠️ 异常处理：若排期窗口冲突无法完全避免，应通过“实验优先级矩阵”裁定哪些实验让路，并书面记录冲突原因与调整方案。
2.5 历史实验回顾清单
历史实验是排序的重要输入。回顾清单可避免重复实验、复用经验、校准收益假设。
| 字段 | 说明 | 示例 |
|---|---|---|
| 实验编号 | 唯一标识 | EXP-2024-001 |
| 实验名称 | 简短描述 | 首页推荐流改版 |
| 假设 | 实验预期 | 减少推荐冗余，提升点击率 5% |
| 结论 | 显著/不显著/无效 | 显著正向，点击率 +3.2% |
| 收益估算 | 对核心指标的实际影响 | DAU 渗透率 +1.8% |
| 经验教训 | 可复用的洞察 | 用户对新布局适应期 3 天 |
| 相关文档 | 实验报告/代码链接 | 链接 |
责任角色：数据分析师负责维护清单，排序负责人在每次排序前至少回顾最近 20 条历史实验。
📋 记录材料：建议使用共享文档或实验管理平台维护该清单，每次排序会议前由数据分析师导出为 PDF 附件，随排序议程一并发出。
⚠️ 异常处理：若历史实验清单缺失或记录不完整，应在当前排序前完成近 6 个月实验的补录，并对关键实验补充结论与收益估算。
2.6 前置条件检查总表
以下总表用于团队在启动排序流程前逐项确认，所有条件均满足后方可进入 第3章 候选实验收集。
| 序号 | 前置条件 | 检查项 | 验收结果 | 责任角色 |
|---|---|---|---|---|
| 1 | 数据基础 | 行为数据覆盖 ≥ 95%，核心指标 T+1 可用 | ☐ 通过 / ☐ 未通过 | 数据分析师 |
| 2 | 实验平台 | 分流均匀性 < 0.5%，指标计算误差 < 1% | ☐ 通过 / ☐ 未通过 | 平台运维 |
| 3 | 团队角色 | 4 个核心角色均已到位，职责清晰 | ☐ 通过 / ☐ 未通过 | 排序负责人 |
| 4 | 排期窗口 | 实验时长 ≥ 7 天，并行实验 ≤ 3 个，无版本冲突 | ☐ 通过 / ☐ 未通过 | 开发工程师 |
| 5 | 历史实验回顾 | 最近 20 条历史实验已回顾，清单完整可查 | ☐ 通过 / ☐ 未通过 | 数据分析师 |
💡 最佳实践：建议将检查总表嵌入排序会议的议题中，逐项口头确认后由排序负责人签字存档。每次排序重复使用该表，确保流程一致性。
✅ 验收标准（本章）：排序负责人与数据分析师共同签署《前置条件检查总表》，五项前置条件全部为“通过”时，本章视为验收完成。任何一项“未通过”均需记录异常处理措施与整改期限，整改完成后重新验收。