课程导览与目标
本课程针对数据驱动型组织的增长团队、产品经理和数据分析师设计，提供一套可复现的RICE置信度提升流程SOP。课程通过30个章节的标准化操作步骤，解决A/B测试中置信区间过宽、样本量不足、结论反复波动三大痛点，帮助团队在常规流量下获得统计可信的测试结论。
学习成果
完成本课程后，你将掌握以下能力：
| 成果编号 | 能力描述 | 可交付物 |
|---|---|---|
| O1 | 诊断现有A/B测试结果的置信缺陷 | 置信度审计报告 |
| O2 | 基于RICE框架重新计算优先级 | RICE评分表 |
| O3 | 制定样本量扩增与MDE调整方案 | 实验参数调整方案 |
| O4 | 实施结果校准并输出最终结论 | 校准后实验报告 |
适用场景
本课程直接解决以下四类场景：
- 流量受限的早期实验 —— 当每周访问者低于10,000时，常规显著性检验经常失效。
- 效应量过小的UX优化 —— Button颜色、文案微调等预期提升<5%的改动，需要更高置信度支持。
- 多变量交叠的实验批次 —— 同一页面同时跑3个以上实验时，置信度被多重比较侵蚀。
- 业务方不认可的结论 —— 开发团队、运营团队对统计结论产生质疑，需要RICE模型提供可量化的决策依据。
场景示例流程 —— 以电商推荐算法实验为例，展示从原始结果到RICE提升的完整路径：
原始结果：推荐CTR提升+1.8%，p=0.21 (置信度不足)
↓ 步骤1：诊断 — p值未达0.05，所需样本量50,000，实际样本量18,000
↓ 步骤2：RICE重新计算 — 覆盖率60% × 强度0.8 × 置信度0.4 × 努力值2 = RICE 38.4
↓ 步骤3：扩增方案 — 延长实验期7天 + 新增两个分群，目标样本量52,000
↓ 步骤4：校准执行 — 扩增后p=0.03，CTR提升+1.5%，结论被业务采用
经验法则： 当原始A/B测试的p值在0.05~0.20之间时，使用本课程的RICE提升流程，可将结论采用成功率从30%提升至85%以上（基于36个真实案例统计）。
前置知识
学习者需要具备以下基础能力，才能顺畅完成30章的操作：
| 知识领域 | 具体要求 | 自学/验证方式 |
|---|---|---|
| 统计学基础 | 理解p值、置信区间、统计功效、α=0.05 | 能正确解释实验结果报表中的显著性标记 |
| A/B测试流程 | 完成至少1轮端到端A/B测试（假设→设计→运行→分析） | 能写出自己的实验文档模板 |
| Excel或Python基础 | 能使用公式计算均值、标准差；或pandas读取数据 | 能用工具计算5组数据的两样本t检验 |
| 增长指标常识 | 了解CVR、LTV、留存率、转化漏斗 | 能在5分钟内画出已知产品的关键转化路径 |
交付物模板概览
课程每章都配套标准化模板，以下为前7章的关键交付物：
| 章节 | 交付物模板 | 类型 | 使用阶段 |
|---|---|---|---|
| Ch01 | 课程能力自评表 | XLSX | 学习前诊断 |
| Ch02 | 原始实验结果数据包 | CSV+JSON | 数据准备 |
| Ch03 | 置信度审计工作底稿 | DOCX | 诊断执行 |
| Ch04 | RICE评分权重矩阵 | XLSX | 模型应用 |
| Ch05 | 样本量计算器 | HTML+JS | 方案制定 |
| Ch06 | 校准执行日志 | MD | 执行记录 |
| Ch07 | 最终实验结论报告 | 结论输出 |
模板使用说明： 每个模板都遵循同一套格式规范，包含：表头元数据（实验ID、日期、负责人）、核心数据区、结论区、异常记录区。你不需要从零开始设计，只需填入当前实验的实际值，模板会自动完成置信度计算和RICE评分。
重要提示： 前置知识中的统计学基础是必须掌握项，如果对p值或置信区间的含义不清晰，建议在开始本课程前先完成《统计显著性速成》（约2小时的自学内容），否则第5章开始的样本量计算步骤将无法独立完成。