第1章：A/B测试核心指标识别——关键业务指标、实验指标、辅助指标区分

1.1 三类指标的定义与作用

在A/B测试中，指标不是越多越好，而是需要分层管理。按决策价值可分为三层：

1.2 维度拆解：指标树结构

每个实验指标都可以向下拆解为多个子维度，形成指标树。以“下单转化率”为例：

• 一阶拆解： 按流量来源（自然搜索、付费广告、社交媒体）
• 二阶拆解： 按用户分群（新用户、老用户、高价值用户）
• 三阶拆解： 按页面路径（首页→列表页→详情页→结算页）

拆解后，若实验组转化率提升但收入未变，通过辅助指标（如客单价、退款率）可快速定位原因。

1.3 看板结构设计建议

看板应分三层展示所有指标，遵循“全局→实验→辅助”的阅读顺序：

1. 顶部区域： 关键业务指标（KPI）实时监控仪表盘（如GMV、UV、订单量）
2. 中部区域： 实验指标卡片，显示每个实验的 uplift、p-value、置信区间，并支持分组下钻
3. 底部区域： 辅助指标折线图/热力图，按维度拆解展示异常波动

1.4 异常解释案例

某次实验实验组“加入购物车按钮变大”后，实验指标“加入购物车率”显著提升（+12%），但关键业务指标“下单转化率”下降。通过辅助指标拆解发现：

• 实验组“到结算页完成率”下降15%（辅助指标）
• 实验组“用户平均浏览商品数”减少（辅助指标）

结论：按钮变大导致用户误点击，但并未真正推动购买决策。最终决定回滚改动。

1.5 业务动作建议

• 实验启动前： 明确关键业务指标（KPI）和实验指标，并预定义辅助指标清单（避免事后添加造成幸存者偏差）。
• 实验运行时： 每日查看辅助指标变化，若某个辅助指标出现异常波动（如跳出率骤升），立即暂停实验排查。
• 实验分析时： 若关键业务指标与实验指标矛盾，必须通过辅助指标寻找“中间变量”，不可直接采用“只看实验指标”的简单决策。

1.6 指标口径定义模板（示例）

为避免指标歧义，每个实验开始前需填写口径说明书：

指标名称：下单转化率（实验指标）
口径定义：从“确认订单”页面成功提交订单的用户数 / 到达该页面的总UV
统计周期：实验曝光后24小时内
聚合方式：日均值，剔除异常流量（单IP>10次提交）
阈值：基线2.3%，最小可检测效应（MDE）0.5%