第3章：核心指标选择原则——相关性、可测量性、敏感性、稳定性、可解释性

适用场景

  • 新实验设计阶段：首次为A/B测试实验选取核心指标，需要从零构建指标评估框架。
  • 指标体系优化：已有实验指标表现不佳（如不敏感、波动大），需要系统性替换或增补。
  • 多指标冲突决策：多个候选指标指向不同结论时，需依据五项原则进行优先级排序。
  • 跨团队对齐：数据、产品、业务方对指标理解不一致，需要统一评估标准。

前置条件

  1. 已完成实验目标和业务假设的书面化定义（如“提升首页点击率5%”）。
  2. 已收集至少2周的历史数据，用于评估敏感性和稳定性。
  3. 已梳理出3~8个候选指标，并明确其数据埋点位置与采集方式。
  4. 参与评估的数据科学家、产品经理、工程师已就位，且对业务逻辑有共识。

操作步骤

按照以下7个步骤依次执行，每个步骤对应一项指标选择原则，最终输出核心指标清单。

步骤 原则 操作动作与评估方法 通过标准
Step 1 业务目标梳理 与业务方召开目标对齐会，将定性目标（如“提升用户体验”）拆解为定量指标候选。 产出 候选指标清单，包含指标名称、定义、数据来源。
Step 2 相关性 对每个候选指标进行逻辑校验：
• 指标变化是否直接反映业务目标的达成？
• 是否存在中间变量或代理偏差？		 指标与业务目标之间 存在直接因果链，且业务方确认无异议。
Step 3 可测量性 数据链路审计：
• 埋点是否已上线？数据延迟多久？
• 是否有空值、重复、异常值污染？		 数据可 在实验周期内（通常1~4周）稳定获取，且采集成本可控。
Step 4 敏感性 基于历史数据计算最小可检测效应：
• 使用过往同类实验的效应量作为参考。
• 若历史数据不足，可进行模拟采样。		 指标能检测到 预期最小效应（MDE ≤ 5%），且统计功效 ≥ 80%。
Step 5 稳定性 计算无实验期间指标的变异系数：
• 取实验前4周日数据，计算标准差/均值。
• 剔除异常天（如节假日、系统故障）。		 变异系数 CV ≤ 10%，或日间波动在可接受范围内。
Step 6 可解释性 向非技术干系人（产品、运营）口头解释指标含义：
• 他们能否用自己的话复述？
• 是否会与现有业务指标混淆？		 业务方 能够准确理解并接受，且指标名称无歧义。
Step 7 综合决策 将五项原则评估结果汇总到决策矩阵，采用 加权评分法 或 一票否决制 确定最终指标。 输出 核心指标清单（1~3个），附带每项原则的评分与备注。
操作要点：Step 2~6 的评估顺序建议固定，因为相关性和可测量性是硬性门槛，不满足可直接淘汰，无需浪费资源评估后续原则。
框架解读：该图展示了从业务目标到核心指标的完整筛选路径。五项原则以并行评估方式作用于候选指标，只有同时满足所有原则的指标才能进入最终清单。在实际操作中，相关性和可测量性通常作为一票否决项，敏感性、稳定性、可解释性则允许通过加权评分进行权衡。

输入输出物

类别 名称与格式 内容说明
输入 候选指标列表（电子表格） 包含指标名称、定义、数据源、历史数据摘要、业务归属方。
输入 业务目标文档（共享文档） 包含实验背景、核心假设、预期效应方向与最小可检测差异。
输出 核心指标清单（电子表格 + 评审纪要） 包含最终选定的指标、五项原则的评分、综合决策理由、负责人确认签名。
输出 指标评估矩阵（电子表格） 每个候选指标在五项原则上的详细评估记录，用于追溯和复盘。

责任边界

  • 数据科学家：主导Step 4（敏感性）和Step 5（稳定性）的定量分析，提供变异系数、MDE等关键参数；对指标的计算口径和数据质量负责。
  • 产品经理：主导Step 1（目标梳理）和Step 2（相关性），组织业务方对齐会议，确认指标是否反映真实业务意图。
  • 工程师：负责Step 3（可测量性）的数据链路审计，确保埋点正确、数据管道稳定、延迟满足实验要求。
  • 业务方（运营/增长）：参与Step 6（可解释性）验证，确认指标是否易于理解和日常使用。
  • 决策委员会（项目负责人）：在Step 7中出现争议时进行仲裁，审批最终核心指标清单。

记录材料

以下记录材料需归档至实验文档库，作为后续实验评审和复盘的基础依据：

  1. 指标评估矩阵表（推荐模板结构如下表）
候选指标 相关性（1~5） 可测量性（1~5） 敏感性（MDE） 稳定性（CV） 可解释性（1~5） 综合结论
首页点击率 5 5 2.1% 3.4% 5 推荐
人均浏览时长 4 3 5.8% 12.7% 4 不推荐（敏感性和稳定性不达标）
  1. 核心指标选择决策记录：包含会议日期、参会人员、讨论要点、分歧点及最终决议。
  2. 历史数据快照：用于敏感性和稳定性评估的原始数据切片，便于后续复现验证。

异常处理

异常场景 识别方式 处理策略
指标数据不可采集 Step 3 数据链路审计发现埋点未上线或数据缺失率 > 20%。 优先修复埋点；若修复成本过高或周期超出实验排期，直接淘汰该指标。
指标波动过大（CV > 15%） Step 5 稳定性评估发现日间变异系数超过阈值。 尝试使用 平滑版本（如7日移动平均）或 分层聚合（按用户群组）；若仍不达标，寻找替代指标。
指标敏感度过低（MDE > 10%） Step 4 敏感性评估显示需要极大样本量才能检测到预期效应。 检查指标是否为比率类指标（如人均值），若分母含非活跃用户，考虑改用活跃用户子指标；或接受延长实验周期。
业务方与数据团队对相关性有分歧 Step 2 相关性讨论中双方无法就“指标→目标”的因果链达成一致。 引入第三方专家（如增长顾问）进行独立评估，或进行小型预实验验证指标方向是否与业务假设一致。
避坑提醒：不要为了追求“完美指标”而无限期推迟实验决策。当候选指标在五项原则上均达到“基本可用”水平（非最优），且没有明显的一票否决项时，应果断选定并启动实验，通过实验数据反向验证指标表现，而非在实验设计阶段过度优化。

验收标准

  1. 完整性：核心指标清单包含至少1个、至多3个指标，每个指标均附有五项原则的评估得分与备注。
  2. 可追溯性：从核心指标到原始业务目标之间存在清晰的因果链记录，且业务方已书面确认。
  3. 数据可获取：所有选定指标的数据已实际接入实验数据看板，延迟不超过实验评估周期的10%。
  4. 敏感性可接受：选定指标的最小可检测效应 ≤ 实验预期效应的80%（例如预期提升5%，则MDE ≤ 4%）。
  5. 稳定性达标：选定指标在历史数据中的变异系数 ≤ 10%，或已通过平滑处理将有效CV降至该阈值以下。
  6. 干系人认同：数据科学家、产品经理、工程师、业务方四方在评审会上签字确认核心指标清单，无遗留争议。
← 上一章 📖 返回目录 下一章 →