1. A/B测试核心指标定义：转化率、留存率、ARPU、置信区间、效应量
在A/B测试中，核心指标是量化实验效果、支撑优先级决策的基石。本章系统定义5个核心指标，明确数据口径、看板结构及业务解读方式，并将决策步骤内嵌到看板解读流程中。
1.1 指标定义与数据口径
| 指标 | 定义 | 数据口径 | 单位 |
|---|---|---|---|
| 转化率 | 完成目标行为的用户占比 | 转化用户数 / 总曝光用户数（去重） | % |
| 留存率 | 第N天仍活跃的用户占比 | 第N天活跃用户 / 第0天新增用户 | % |
| ARPU | 平均每用户收入 | 总收入 / 总用户数 | 货币单位 |
| 置信区间 | 指标估计值的波动范围 | 基于样本量、标准差计算（常取95%置信水平） | 与指标同单位 |
| 效应量 | 实验组与对照组差异的标准化度量 | (均值差) / 合并标准差（常用Cohen's d或Hedges' g） | 无量纲 |
1.2 维度拆解
在看板中，需按以下维度交叉分析，以发现细分差异：
- 版本维度：实验组 vs 对照组
- 时间维度：日、周、累计趋势
- 用户群维度：新用户/老用户、渠道、设备类型
- 行为维度：首次访问 vs 回访用户
1.3 看板结构
主看板应包含以下区域，形成“指标卡片-趋势-异常”三层视觉：
- 指标卡片区：5个核心指标当前值 + 置信区间 + 效应量标记
- 趋势图：各指标按天/周的折线图，标注实验开始与结束时间
- 对比柱状图：实验组 vs 对照组在转化率、留存率、ARPU上的差异
- 异常预警区：当置信区间超宽、效应量置信区间包含0、留存率陡降时自动高亮
看板解读SOP（嵌入决策步骤）
① 先看置信区间是否收敛（宽度≤±1%指标值），若发散则样本量不足；
② 再看效应量置信区间是否完全大于0，若包含0则统计不显著；
③ 最后综合转化率/ARPU/留存率的变动方向，判断是否具备业务可落地性。
① 先看置信区间是否收敛（宽度≤±1%指标值），若发散则样本量不足；
② 再看效应量置信区间是否完全大于0，若包含0则统计不显著；
③ 最后综合转化率/ARPU/留存率的变动方向，判断是否具备业务可落地性。
1.4 异常解释与业务动作
| 异常现象 | 可能原因 | 业务动作 |
|---|---|---|
| 置信区间异常宽（>±5%） | 样本量不足、用户行为方差大 | 延长实验时间或增加流量分配 |
| 效应量置信区间包含0 | 差异不显著，组间随机波动 | 停止实验，不纳入优先级排序 |
| 留存率突降（>10%相对变化） | 实验版本引入负面体验、引导流程断裂 | 立即暂停实验，回滚功能 |
| ARPU↑但转化率↓ | 高客单价用户留存，低客单价用户流失 | 细分用户群，评估长期收益 |
1.5 复盘分析
实验结束后，需结合5个指标综合判断：转化率和ARPU提升但留存率下降，说明短期收割但长期风险；效应量小但置信区间窄，说明效果稳定但微弱，需结合成本决定是否上线。
复盘决策矩阵
将指标两两组合（如转化率×留存率、ARPU×效应量），落在四个象限：
- 双高→高优先级上线
- 一高一低→深入分析细分维度
- 双低→放弃
将指标两两组合（如转化率×留存率、ARPU×效应量），落在四个象限：
- 双高→高优先级上线
- 一高一低→深入分析细分维度
- 双低→放弃