第1章 A/B测试适用场景判断
1.1 适用场景判断总览
A/B测试并非万能工具，在启动实验之前必须系统评估场景的适合度。本章围绕前置条件、业务价值、最小可行实验判断和不适用场景清单四层过滤机制，建立标准化的适用性判断框架。每一层过滤都包含明确的输入物、验收标准和责任边界，确保团队在投入开发资源前达成共识。
核心原则：只有当四层过滤全部通过时，A/B测试才具备启动条件。任意一层不满足，都应优先选择替代方案（如用户访谈、数据分析、MDE评估），而非强行上线实验。
1.2 前置条件清单
前置条件是最低门槛，缺一不可。以下表格列出五个维度的具体条件与验收标准：
| 维度 | 前置条件 | 验收标准 | 责任方 |
|---|---|---|---|
| 流量 | 日独立访客 ≥ 实验版本数 × 最小样本量 / 实验周期 | 流量预估报告通过评审 | 数据分析师 |
| 技术 | 实验平台就绪，随机分流与埋点链路完整 | 全链路集成测试通过 | 研发工程师 |
| 业务 | 有明确的优化目标与可验证的假设 | 假设文档经PM与DS双签 | 产品经理 |
| 时间 | 实验周期 ≥ 最小运行时长（覆盖完整业务周期） | 排期无冲突，无重大节假日干扰 | 项目经理 |
| 合规 | 符合数据隐私法规，无伦理风险 | 法务/安全审核通过 | 法务/安全 |
常见遗漏：团队往往只检查流量和技术条件，忽略「时间维度」中的业务周期覆盖。例如在电商大促前3天启动实验，数据会严重失真，必须排除。
1.3 业务价值评估
通过前置条件后，需要量化实验的预期业务价值。价值评估决定实验的优先级排序，避免将资源投入低影响假设。评估维度如下：
| 价值维度 | 价值描述 | 衡量指标 | 最低阈值 |
|---|---|---|---|
| 决策风险降低 | 用数据替代直觉，减少上线后回滚概率 | 回滚率预期降幅 ≥ 30% | 决策置信度 ≥ 80% |
| 核心指标提升 | 可量化的KPI（转化率、留存、LTV等） | 相对提升幅度 ≥ 5% | MDE ≤ 50% 预期提升 |
| 机会成本减少 | 避免投入错误的产品方向 | 预期节省人天 ≥ 10人日 | ROI ≥ 3:1 |
| 知识积累 | 实验结果为后续迭代提供数据资产 | 可复用的用户行为洞察数 ≥ 3条 | 实验报告存档至知识库 |
决策锚点：当所有维度的价值都低于最低阈值时，建议暂缓实验，从定性研究或低成本的准实验（如前后对照）开始积累认知。
1.4 最小可行实验判断
最小可行实验（MVE）是判断实验是否「值得做」的最后一层过滤。使用以下五步检查表：
- 样本量估算：使用公式
n = (Z_α/2 + Z_β)² × (σ₁² + σ₂²) / δ²或工具（Statsig、Evan Miller计算器）计算每组最小样本量；确保现有流量在实验周期内能达到该数值。 - 运行时长确认：最小运行时间 = 样本量达标天数 + 2个完整业务周期（例如：电商需覆盖1个完整周末 + 1个工作日）；拒绝「跑满7天就停」的粗暴规则。
- 指标敏感性检查：所选核心指标的变异系数（CV）≤ 0.3；若CV过高，考虑使用CUPED或换成更敏感的代理指标。
- 成本与风险预估：实验实施成本（开发+分析）≤ 预期收益的30%；潜在负面影响的用户比例 ≤ 5%。
- 决策阈值设定：事先明确「显著正向/负向/持平」三种结果对应的行动方案（灰度发布、回滚、继续测试）。
快速估算技巧：当没有历史数据时，可使用效应量0.2（Cohen's d）作为保守默认值，查表得每组约393个样本（α=0.05，β=0.2）。对大部分互联网实验，这个量级是安全的起点。
1.5 不适用场景清单
以下七类场景禁止或不适合使用A/B测试，应主动识别并切换到更合适的工具：
| 场景类型 | 具体示例 | 替代方案 | 识别标志 |
|---|---|---|---|
| 定性研究问题 | 「用户为什么点击这里？」「这个功能让用户感觉如何？」 | 用户访谈 / 可用性测试 / 情绪板 | 问题以「为什么」「感觉」开头 |
| 低频/长周期事件 | 年度订阅续费率、法律合规审核流程 | 准实验（ITS、DID）/ 队列分析 | 事件频率 < 每月1次 |
| 法律/合规限制 | GDPR下的强制同意流程、医疗隐私条款 | 法律合规审查 + 对照组豁免论证 | 法务标注「不可随机」 |
| 技术不可行 | 无法隔离网络效应、客户端版本强制升级 | 影子测试 / 沙箱模拟 | 分流SDK不支持 |
| 样本量严重不足 | B2B SaaS 仅50个企业客户 | 单案例研究 / 专家评审 | 估算样本量 ≥ 总用户数 |
| 道德/伦理风险 | 算法歧视、用户情绪操控、儿童隐私 | 伦理委员会审批 + 最小伤害设计 | 安全/PR团队介入 |
| 系统级变更无法隔离 | 数据库架构升级、底层框架迁移 | 蓝绿部署 / 金丝雀发布 + 监控 | 变更涉及全链路不可分割 |
红线原则：当场景落入「法律/合规限制」或「道德/伦理风险」时，直接终止评估流程，不进入后续任何环节。这是课程中唯一的一票否决规则。
1.6 适用场景判断决策流程
以下流程图将四层过滤机制可视化，团队可将其作为SOP看板贴在实验启动前的评审墙上：