VIP20
本课程属于：005-产品指标体系用户访谈与需求分析 产品经理与需求分析 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

A/B测试假设验证与指标选择指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
明确A/B测试核心目标
理解假设验证的边界 · 区分因果推断与相关分析 · 建立业务决策流程
A/B明确
02
假设提出步骤
从业务问题到可检验假设 · 定义原假设与备择假设 · 记录假设模板
假设提出步骤从业务问题到可检…
03
指标选择原则
区分核心指标与辅助指标 · 避免虚荣指标 · 确定指标优先级
指标选择原则区分核心指标
04
核心指标设计
定义指标口径（分子分母） · 明确统计属性（均值/比率/分位数） · 记录口径文档
核心指标设计定义指标口径
05
辅助指标与护栏指标
识别负向影响 · 设定护栏阈值 · 防止局部优化损害全局
辅助指标护栏指标
06
指标敏感性分析
评估指标对预期效果的最小可检测效应（… · 计算所需样本量
指标敏感性分析评估指标对预期效…
07
实验设计类型
并列对照实验 · 交叉实验 · 多臂实验
实验设计类型并列对照实验
08
分流策略与随机化
用户级别分流 · 设备级别分流 · 分层随机化
分流策略随机化
09
样本量计算流程
根据α · β · MDE计算最小样本量
样本量计算流程根据α
10
实验周期确定
考虑周几效应 · 日周期 · 历史数据
实验周期确定考虑周几效应
11
AA测试流程
无效果验证 · 检验随机化有效性 · 评估指标基线波动
AA测试流程
12
数据采集与埋点检查
确认埋点准确性 · 缺失值处理 · 异常值过滤
数据采集埋点检查
13
预处理与清洗步骤
去除爬虫/机器人 · 处理时间窗口对齐 · 用户去重
预处理清洗步骤
14
统计检验方法选择
t检验 · Z检验 · 卡方检验
统计检验方法选择t检验
15
多重比较问题
Bonferroni校正 · FDR控制 · 计划好对比数量
多重比较问题Bonferroni
16
假设检验结果解读
p值含义 · 置信区间 · 效应量
假设检验结果解读p值含义
17
多样性测试与子群分析
分层分析 · 交互效应检测 · 多维度交叉验证
多样性测试子群分析
18
长期效应评估
滞后效应 · 学习效应 · 习惯效应
长期效应评估滞后效应
19
实验结束决策流程
根据预设停止规则决定 · 是否延长实验 · 是否早停
实验结束决策流程根据预设停止规则…
20
结果报告模板
实验概要 · 指标变化表 · 显著性标记
结果报告模板实验概要
21
异常处理流程
发现数据异常 · 排查分流问题 · 回滚机制
异常处理流程发现数据异常
22
责任边界划分
产品经理提出假设 · 数据工程师提供数据 · 数据分析师执行检验
责任边界划分产品经理提出假设
23
实验记录台账
实验ID · 假设 · 指标
实验记录台账ID
24
验收标准制定
统计显著 · 效应量达到业务阈值 · 护栏指标无恶化
验收标准制定统计显著
25
复盘与经验沉淀
记录意外发现 · 优化流程 · 更新检查清单
复盘经验沉淀
26
常见误区与陷阱
忽视样本量 · 多个指标只看显著 · p-hacking
常见误区陷阱
27
案例
转化率实验全流程：从假设到决策 · 每个步骤的输出物 · 检查清单应用
案例转化率实验全流程
28
案例
留存指标实验设计：指标选择挑战 · 长期效果评估 · 护栏设置
案例留存指标实验设计
29
工具与模板总览
假设模板 · 指标卡片 · 实验记录表
工具模板总览
30
SOP集成与持续改进
将流程融入日常 · 定期更新SOP · 建立评审机制
SOP集成