第四章 实验设计SOP：实验类型选择、变量控制、样本量估算、对照组设置、实验文档模板
1. 适用场景
本SOP适用于以下验证阶段：
- 功能验证：判断新AI功能是否解决了用户的核心需求（如对话摘要准确性）。
- 效率验证：验证模型输出是否比人工或旧流程更高效（如客服响应时间）。
- 体验验证：评估新交互模式是否优于基线设计（如推荐卡片 vs 列表）。
- 商业验证：验证功能对关键指标的影响（如点击率、留存率、付费转化）。
不适用场景：当需求尚未通过“用户任务分析”或“行为访谈”确认其价值假设时，不应直接进行实验设计。
2. 前置条件
- 已完成用户旅程映射，定义了至少3个关键决策点。
- 已产出一份定量的核心度量指标清单（如首次推理时间、功能留存率、任务完成率）。
- 已具备基础数据埋点能力。
- 团队至少有1人理解基础统计学概念（如 P值、置信区间）。
3. 操作步骤
本章SOP包含5个核心子步骤，每一步都定义了严格的输入与输出。
3.1 步骤一：实验类型选择
根据验证目标，从两大类型中选择：
| 实验类型 | 应用场景 | 典型案例 | 样本量要求 |
|---|---|---|---|
| A/B测试（分流实验） | 横向比较2个或多个版本的指标差异 | 两种摘要模型Prompt的CVR对比 | 较高（通常>1000/组） |
| Multi-armed Bandit | 效率优先，自动分配流量to最优版 | 实时广告推荐策略调整 | 中等（动态调整） |
| 穿梭实验 | 同一用户先后体验多个版本 | UI密级测试或模型速度感知 | 较低（需消除顺序效应） |
| 序列/时间序列实验 | 增量式上线，观察前后变化 | 模型推理延迟优化后指标对比 | 需较大观察窗口 |
选择标准：验证准确性优先选用A/B测试；效率优先选用Bandit；用户体验微差选用穿梭实验。
3.2 步骤二：变量控制
在AI实验中，需严格区分三类变量：
- 自变量（干预变量）：唯一被改变的因素。如“摘要模型版本”、“推荐算法参数”、“UI布局”。
- 因变量（结果变量）：被观测的指标。如“任务完成时间”、“输出准确率”、“用户复购率”。
- 混淆变量（噪声变量）：必须消除或随机化处理的因素。如“用户设备性能”、“网络延迟”、“上下文热度”。
⚠️ 常见陷阱： 不要同时修改模型和UI；不要忽略“新鲜感效应”——用户对AI新功能的好奇心可能导致初期虚高指标，通常需要持续观察3-7个自然日。
3.3 步骤三：样本量估算
使用最小可检测效应量（MDE）公式估算。对于AI实验，建议使用在线计算器（如Evan Miller的样本量计算器）。
基本公式：
n = (Z_α/2 * √(2P*(1-P)) + Z_β * √(P1*(1-P1) + P2*(1-P2)) )^2 / (Δ)^2
其中：
- P = (P1 + P2) / 2 （基准转化率与预期转化率的均值）
- Δ = P2 - P1 （绝对提升）
- Z_α/2 = 1.96（95%置信）
- Z_β = 0.84（80%统计功效）快速经验法则（MVP阶段）：
- 若基准转化率为 5%，期望提升至 6%（即20%相对提升），则每组需要约7000个样本。
- 若基准转化率为 50%，期望提升至 55%（即10%相对提升），则每组需要约1500个样本。
- MVP阶段建议至少每组2000个有效用户事件，以保证最低统计功效。
3.4 步骤四：对照组设置
对照组必须满足3个原则：
- 同期性：对照组与实验组必须在同一时间段运行，避免因时间窗口引起的偏差（如节假日效应）。
- 一致性：除自变量外，所有其他体验（包括AI模型内部的随机性）必须完全一致。
- 随机化：用户必须被随机分配到控制组或实验组。在AI中，建议基于用户ID or 设备ID进行哈希分流。
💡 关键点： 如果AI模型存在“学习效应”，即模型随着数据积累变强，请确保对照组和实验组在同一天内同时启用，并且不要提前结束实验（至少持续1个完整用户使用周期）。
3.5 步骤五：实验文档模板
每次实验启动前，必须填写以下核心字段：
# [实验名称]：XXXX AI功能验证
## 1. 实验摘要
- 负责人：XXX
- 验证假设：H0：新模型与旧模型效果无差异；H1：新模型效果显著优于旧模型
- 度量指标：主要：任务完成率 | 次要：平均响应时间
## 2. 实验设计
- 实验类型：A/B 测试（分流）
- 实验组：新Prompt流程
- 对照组：原PTune流程
- 样本量：每组 3000 有效事件
- 混杂控制：已固定推理引擎版本、GPU型号
## 3. 时间计划
- 启动时间：2025-05-10 10:00
- 预计结束时间：2025-05-17 10:00
- 中途检查点：2025-05-13（数据完整性检查）
## 4. 风险与应对
- 风险1：模型输出延迟上升导致用户流失
应对：监控P99延迟，若超过3秒则立即停止实验
- 风险2：新鲜感效应
应对：持续观察7天，并与历史同期数据比对
## 5. 结论与决策
- 结果（实验结束后填写）：
- 决策：通过 / 不通过 / 需要补充实验
4. 输入与输出物
| 角色 | 输入物 | 输出物 | 通过准则 |
|---|---|---|---|
| 产品经理 | 核心度量清单、用户旅程图 | 实验设计文档（草稿） | 文档包含：假设、分组、样本量估算依据 |
| 算法工程师 | 实验设计文档 | 实验代码、埋点方案、随机分流策略 | 代码通过Review，A/A测试通过（指标差异<5%置信区间的标准差值） |
| 数据分析师 | 原始日志 + 埋点数据 | 分析报告（含P值、效应量、置信区间） | 分析流程可复现，结论有统计显著性 |
5. 责任边界
- 产品经理：负责选择实验类型，定义成功标准，填写文档正文，并最终决策是否迭代。
- 算法/工程团队：负责技术实现，包括分流逻辑、变量隔离、数据采集。不得擅自修改实验配置。
- 数据分析师：负责事后统计检验，验证样本分割是否均匀，检查置信区间是否过宽。
6. 记录材料
- 实验设计文档（版本化存储至Wiki/Notion）
- 实验配置文件（JSON/YAML，放进Git仓库对应分支）
- 实验日志（包括分流用户ID列表、每组样本量时间序列）
- 事后分析报告（包含代码复现链接）
7. 异常处理
| 异常现象 | 可能原因 | 处理动作 |
|---|---|---|
| 对照组与实验组基线指标差异显著 | 分流不均匀（如随机种子失效） | 立即暂停实验，检查分流ID哈希算法，重新随机化后重启 |
| 实验进行3天后指标无波动 | 样本量不足或效应量极小 | 延长实验周期，或重新估算MDE并调整预期效应量 |
| 用户反馈实验组体验明显变差 | 混淆变量（如模型异常高延迟） | 通过监控系统核对延迟指标，启动“熔断机制”切回对照组 |
| 置信区间非常宽 | 样本量不足或数据方差过大 | 增加每日采样比例，或使用分层采样降低方差 |
⚠️ 熔断规则： 任何实验组的关键指标（如崩溃率、P99延迟）超过基准线30%时，自动化系统应直接切回对照组，无需等待人工决策。
8. 验收标准
- 文档完备性：实验文档已包含假设、变量定义、样本量估算、时间窗口、风险应对。所有字段不可为空。
- 分流均匀性：使用A/A测试验证，对照组和实验组在历史数据上应无统计显著差异（P > 0.5）。
- 数据可复现：分析报告中的每个指标都能通过原始日志重新计算出。结论必须提供置信区间和效应量。
- 决策明确：文档最终状态为“通过”、“不通过”或“需要补充实验”，不得出现“待定”。
9. 实验设计流程图（SOP核心）
以下SVG流程图展示了从目标到决策的完整实验设计验证循环：
⏱ 时间参考： 对于MVP阶段的AI功能实验，从“确定目标”到“启动实验”建议控制在2个工作日内完成。超过该周期，应判断是否目标过于复杂或变量过多。
10. 操作检查清单
- ☐ 我是否明确了唯一要改变的自变量？
- ☐ 我是否列出了所有需要监控的混淆变量？（至少3个）
- ☐ 我是否使用了在线计算器或公式估算了样本量？
- ☐ 我是否设置了同期对照组，并确保分流随机化？
- ☐ 我是否填写了完整的实验文档模板，并提交到了共享空间？
- ☐ 我是否通知了数据分析师启动A/A测试验证？
💡 精益建议： 在MVP验证阶段，采用“批量小型实验”策略：同时在线上运行3-5个小型实验，每个实验只改变1个变量，共享同一个对照组。可以大幅减少样本浪费，但需要确保实验间无干扰。