VIP20
本课程属于：005-产品指标体系用户访谈与需求分析 产品经理与需求分析 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

A/B测试实验设计与指标选择技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
实验假设定义
提出零假设与备择假设 · 确定比较方向 · 预期效应最小可检测值
实验假设定义提出零假设
02
指标分类框架
区分核心指标 · 辅助指标 · 护栏指标
指标分类框架区分核心指标
03
核心指标选择原则
相关性 · 可测量性 · 敏感性
核心指标选择原则相关性
04
护栏指标设计
识别业务风险 · 定义不可降级底线 · 设置警报阈值
护栏指标设计识别业务风险
05
辅助指标与体验指标
用户满意度 · 操作耗时 · 跳出率等辅助判断来源
辅助指标体验指标
06
样本量计算前置条件
显著性水平α · 统计功效1-β · 最小效应量δ
样本量计算前置条…显著性水平α
07
样本量计算公式选择
适用于率指标的两样本z检验公式 · 均值指标的t检验公式
样本量计算公式选…适用于率指标的两…
08
实验分流机制
单位随机化 · 分层随机化 · 分桶策略
实验分流机制单位随机化
09
实验周期确定
工作日效应 · 周效应 · 最小运行天数
实验周期确定工作日效应
10
AA测试与随机性验证
AA分组均衡性检验 · 分流一致性检查 · 基线稳定判断
AA测试
11
实验前数据校验
历史数据波动分析 · 季节性模式识别 · 实验前KPI趋势确认
实验前数据校验历史数据波动分析
12
实验部署检查表
代码无副作用 · 分流逻辑正确 · 日志采集到位
实验部署检查表代码无副作用
13
实验监控看板搭建
实时转化率 · 累计样本量 · 差异趋势
实验监控看板搭建实时转化率
14
统计检验方法选择
双尾检验 vs 单尾检验 · Fisher精确检验 vs 卡方检验 · t检验 vs Mann-Whitne…
统计检验方法选择vs
15
多重比较问题与校正
Bonferroni校正 · Holm校正 · FDR控制
多重比较问题校正
16
效应量计算与置信区间
Cohen's h · Risk Ratio · Risk Difference
效应量计算置信区间
17
结果解读决策树
统计学显著 → 效应量是否实际显著…
结果解读决策树统计学显著
18
P值陷阱与正确理解
P值不能代表效应大小 · 显著性不代表可复制性 · 频率学派与贝叶斯补充
P值陷阱正确理解
19
提前停止试验规则
序贯分析方法 · 边界法 · alpha spending函数
提前停止试验规则序贯分析方法
20
实验结束验收标准
样本量达标 · 分流均匀 · AA检验通过
实验结束验收标准样本量达标
21
指标异常处理流程
数据延迟 · 埋点错误 · 外部事件干扰
指标异常处理流程数据延迟
22
长期效果评估
滞后效应分析 · 归因窗口选择 · 用户学习效应
长期效果评估滞后效应分析
23
实验迭代与优化闭环
基于结果修改假设 · 重新设计实验 · 累积知识库
实验迭代优化闭环
24
多臂实验设计
多版本比较 · MAB（多臂老虎机）策略 · 与经典A/B的权衡
多臂实验设计多版本比较
25
交叉实验与网络效应
社交网络干扰 · 同质用户隔离 · 实验单元选择调整
交叉实验网络效应
26
指标选择实战案例
电商GMV指标拆解 · 注册转化率 vs 首单转化率选择
指标选择实战案例GMV
27
指标选择实战案例
内容平台时长指标 vs 互动指标取舍 · DAU波动判断
指标选择实战案例vs
28
实验报告模板要素
实验背景 · 假设 · 指标
实验报告模板要素实验背景
29
常见错误清单
混淆相关与因果 · 忽略新奇效应 · 过度依赖P值
常见错误清单混淆相关
30
组织内实验流程SOP落地
角色分工 · 评审会 · 文档归档
SOP组织内实验流程