第三章 指标选择原则：区分核心指标与辅助指标、避免虚荣指标、确定指标优先级

适用场景

本章方法适用于以下A/B测试阶段：

• 实验设计初期，需要从候选指标池中筛选最终观测指标。
• 已有初步假设，但指标数量过多、相互矛盾，需要聚焦关键度量。
• 业务方或管理层倾向于使用“好看但无用”的虚荣指标（如页面浏览量、注册量），需要建立科学的指标评审流程。
• 多指标结果出现冲突（如转化率上升但收入下降），需要明确优先级降序规则。

前置条件

操作步骤

1. 初步清洗候选指标
   剔除直接依赖样本量的指标（如总点击数、总曝光量），剩余指标按可行动作导向和因果敏感性两个维度做快速标注。
2. 标记虚荣指标并排除
   逐一检查指标是否满足以下任意一条虚荣指标特征：
   - 数值增长不必然带来长期价值（如“分享页面数”高但转化率低）；
   - 容易被误导性操纵（如“平均阅读时长”因极端值膨胀）；
   - 与实验变量无直接因果链（如“品牌搜索量”受外部营销活动干扰）。
   满足任意一条则移入“观察清单”备用，不进入优先级排序。
3. 分离核心指标与辅助指标
   核心指标定义为：直接反映实验目标成败、且改变行为会直接引起商业指标变化。辅助指标用于监控副作用或提供解释性上下文。将剩余指标填入下表：

4. 确定核心指标优先级
   对核心指标按以下维度打分（1~5分）：
   - 灵敏度：实验预期效应量是否大于最小可检测效应（MDE）
   - 可解释性：指标涨跌能否直接归因于实验变化
   - 可获得性：数据延迟是否小于1小时
   - 长期价值：指标改善是否与北极星指标对齐
   优先级总分 = 灵敏度×2 + 可解释性×1.5 + 可获得性×1 + 长期价值×1.5。
   排名第一的核心指标作为首要判断指标，其余作为次级判断指标。
5. 设置辅助指标的监控阈值
   为每个辅助指标设定“无退化”条件：若实验组相比对照组出现统计显著且实践显著的反向变化（如页面跳出率上升超过5%），则触发警告，需要结合核心指标解读。

输入输出物

# 监控阈值规则示例 (YAML)
monitoring:
  core_metric:
    name: 7d_repeat_purchase_rate
    success_direction: increase
    min_effect: 0.02   # 绝对提升2个百分点
  auxiliary_metrics:
    - name: session_pages_per_user
      warning_if: relative_decrease > 0.05
    - name: bounce_rate
      warning_if: absolute_increase > 0.03

责任边界

• 数据工程师：确保候选指标数据清洗过程可复现，提供历史数据分布用于灵敏度计算。
• 产品经理/实验负责人：主导指标分类讨论，最终裁定核心指标优先级顺序。
• 数据科学家：执行指标灵敏度计算与优先级打分，输出决策矩阵。
• 业务方：确认核心指标是否反映实际业务目标，但对指标筛选方法无否决权。

记录材料

异常处理

验收标准

• ☐ 已输出指标优先级排序表，包含至少1个核心判断指标与不超过3个辅助监控指标。
• ☐ 所有虚荣指标已从正式观测列表移除，并记录原因。
• ☐ 核心指标优先级打分表已归档，且分数计算逻辑可查。
• ☐ 辅助指标监控阈值已配置到实验监控系统，并做过至少1次正向/反向数据模拟测试。