2. 实验设计中的指标选择：主指标与辅助指标、北极星指标、反向指标
A/B 测试的本质是通过对比实验组与对照组的指标表现，为优先级决策提供量化依据。指标选择的正确性与层级结构直接决定了实验的可信度与可执行性。本章围绕指标定义、数据口径、维度拆解、看板结构、异常解释、业务动作与复盘分析，完整展示指标选择与看板解读的 SOP。
2.1 指标层级与定义
在一个成熟的 A/B 测试指标体系中，指标通常分为四个层级，每个层级服务于不同的决策目的：
| 层级 | 定义 | 决策用途 |
|---|---|---|
| 北极星指标 | 衡量产品长期核心价值的唯一终极指标，通常是用户留存、活跃度或收入。 | 对齐团队方向，判断实验是否推动全局增长 |
| 主指标 | 本次实验直接优化的目标变量，如转化率、点击率。 | 作为显著性检验的“胜负手”，决定实验是否通过 |
| 辅助指标 | 与主指标相关但非直接目标，帮助解释效果来源或发现潜在副作用。 | 提供归因线索、支持“全量发布”或“驳回”决策 |
| 反向指标 | 实验不希望恶化的关键业务护栏，如用户投诉率、跳出率。 | 防止短期优化损害长期体验，触发“紧急停止”动作 |
最佳实践：每次实验必须且只能定义一个主指标；辅助指标一般 2~3 个；反向指标至少 1 个。北极星指标作为监控背景，不参与显著性判定。
2.2 数据口径与计算规则
同一指标在不同口径下可能得出矛盾结论，因此在实验设计阶段必须明确定义：
- 时间窗口：实验稳定期（通常剔除前 1 天冷启动数据）+ 观察期窗口长度（如 7 天累积、滚动 7 天、按日）。
- 分母与分子：明确事件数的定义、去重逻辑、异常值截断（如超过 99.9% 分位点截断）。
- 归因方式：最后一次点击归因 / 线性归因 / 时间衰减，尤其对漏斗类指标影响重大。
- 指标类型：比例型（如 CVR）采用比率检验，均值型（如客单价）采用 t 检验。
// 示例：主指标“商品详情页点击率”口径定义（伪代码）
分子 = COUNT(DISTINCT user_id) WHERE event = 'detail_click' AND exp_group = 'test'
分母 = COUNT(DISTINCT user_id) WHERE event = 'impression' AND exp_group = 'test'
口径 = 分子 / 分母
截断规则：排除 0.01% & 99.99% 分位点外的异常用户
窗口：实验启动后第 2 天至第 14 天（排除回滚期）2.3 维度拆解与看板结构
指标看板需要支持“总览 → 维度下钻 → 异常定位”的三层结构。推荐采用以下拆解维度：
- 用户维度：新用户 vs 老用户、设备类型、渠道来源、用户价值分层（RFM）。
- 时间维度：日粒度、周粒度、累积粒度，观察趋势是否平稳。
- 产品/内容维度：模块位置、文案类型、实验版本的具体控制变量。
| 看板层级 | 展示内容 | 更新频率 |
|---|---|---|
| 总览仪表盘 | 主指标 + 反向指标的累计相对提升率，置信区间，P 值。 | 每日定时刷新 |
| 维度下钻面板 | 按设备、渠道、新老用户的细分指标表现热力图。 | 按需交互 |
| 异常预警面板 | 连续 3 天反向指标超阈值的标记，辅助指标显著异常但主指标不显著的冲突区域。 | 实时推送 |
2.4 异常解释与业务动作
指标看板上的常见异常场景及其对应的决策步骤：
- 主指标显著提升 + 反向指标无恶化 → 推荐全量发布，进入实验复盘。
- 主指标不显著 + 辅助指标正向且合理 → 延长实验期或扩大样本量，不建议直接驳回。
- 主指标显著下降 + 反向指标显著恶化 → 紧急停止实验，回退对照组。
- 主指标显著提升 + 反向指标显著恶化 → 暂停实验，深入分析用户价值分层，判断是否属于“伤害高价值用户换低价值转化”。
- 北极星指标（如 7 日留存）与主指标方向不一致 → 优先信任北极星指标，驳回实验版本。
易踩坑：切忌只看主指标不看辅助指标。例如主指标“提交订单数”上升，但辅助指标“平均订单金额”大幅下降，实际总收入可能未增长甚至下降。
2.5 复盘分析
实验结束后，需要从指标看板中提取以下内容形成复盘结论：
- 效应量化：主指标的相对提升率及 90% / 95% 置信区间。
- 分层影响：是否有某个细分维度表现异常（如 iOS 用户被损害），应追加小圈测试。
- 反向指标归因：反向指标的恶化是否由代码逻辑或实验条件触发，而非随机波动。
- 北极星指标联动：实验结束后追踪至少 1 个完整业务周期（如 30 天）的北极星表现。
复盘输出的 SOP 为：导出看板全量数据 → 填写复盘模板（包含字段：实验 ID、主/辅/反向指标最终值、显著与否、分层异常、北极星变化、决策动作） → 归档至实验管理平台。
复盘文档模板（指标部分示例）：
- 实验编号：AB202504-032
- 主指标：课程购买转化率（+3.2% ，p=0.011）
- 辅助指标：详情页停留时长（+8.7%）、加购按钮点击率（+0.6% ns）
- 反向指标：7 日内退费率（+1.1% ，p=0.04）⚠️
- 北极星：7 日复听率（-0.3% ns）
- 决策：不上线，因反向指标恶化且北极星无明显改善。
2.6 指标选择与决策流程结构图
下图展示了从北极星指标到主/辅/反向指标的层级关系，以及基于指标表现的决策流向：
图中清晰的展示了：北极星指标作为顶层牵引，主指标、辅助指标、反向指标分别反映“优化目标”、“解释变量”与“护栏”，最终在综合评估节点输出三种决策结果。