3. 核心指标定义与口径：关注指标、护城河指标、次级指标、用户层与事件层口径、指标字典模板
3.1 适用场景
本章适用于以下具体场景：
- 你即将启动一个A/B测试，需要确定该评估实验效果的北极星指标与监控体系。
- 你的产品组内对“什么叫转化率”存在口径分歧（如按点击算、按进入页面算、按完成注册算）。
- 你希望建立标准化的指标字典，以便在不同实验之间进行横向对比和累积知识复用。
- 你设计的实验效果在统计上显著，但产品侧负责人质疑“这个指标是不是我们真正关心的”。
3.2 前置条件
前置条件检查清单：
- 已完成实验假设文档（第2章交付物）。
- 已确认实验涉及的产品功能模块及其相关业务逻辑。
- 已有埋点事件清单（至少覆盖用户关键行为路径）。
- 已确定实验的目标用户群体（新用户/老用户/特定画像人群）。
如未满足以上条件，请返回第2章或先完成事件梳理。
3.3 操作步骤（Step-by-Step）
- 步骤一：确定一级指标（关注指标）。从业务目标出发，选择1个最能直接回答实验假设的核心指标。如果实验涉及收入，关注指标应为ARPU或转化率；若涉及体验，则为核心任务完成率。
- 步骤二：划分指标维度。将指标拆解为三个层次：
- 护城河指标：不能被实验牺牲的底线指标。例如，点击率提升不能导致跳出率显著上升；推荐流实验不能导致用户长期留存下降。
- 关注指标：实验要直接优化的一级成功指标。
- 次级指标：辅助理解实验效果的伴随指标，用于解释关注指标的变化原因。如页面停留时长、人均浏览页面数、错误率。
- 步骤三：定义用户层口径。明确指标计算的用户基数是“所有进入实验的用户”还是“仅完成某个行为的用户”。
示例：转化率 = 完成注册用户数 / 进入实验用户数为严格口径；转化率 = 完成注册用户数 / 至少点击过按钮的用户数为宽松口径。尽可能采用严格口径以减少分母波动带来的误读。 - 步骤四：定义事件层口径。对于需要用到事件计数的指标（如平均点击次数、总收入），需要指定事件触发条件和属性。例如：
事件“加入购物车”口径：仅统计“商品详情页”上的“加入购物车”按钮点击事件，排除通过API批量添加的场景。 - 步骤五：创建指标字典模板。将上述定义结构化填入指标字典，形成团队统一认知。
3.4 输入输出物
| 类别 | 内容 | 格式/说明 |
|---|---|---|
| 输入物 | 实验假设文档、埋点事件清单、业务目标 | 必填，确保口径定义有据可依 |
| 输出物 | 指标字典（含关注指标、护城河、次级指标）及口径文档 | 交由数据工程团队确认可采集性 |
3.5 责任边界
- 产品经理/增长PM：负责定义关注指标与护城河指标的业务含义，并对指标是否反映用户价值承担最终解释责任。
- 数据工程师/数据分析师：负责验证指标口径的技术可行性，确保埋点事件能够无歧义地计算出对应指标。
- 算法/后端工程师：负责在实验分组上报时，确保事件携带正确的实验参数（如用户ID、时间戳、实验组编号）。
3.6 记录材料
| 记录内容 | 作用 | 保存期限 |
|---|---|---|
| 指标字典V1.0（含口径SQL伪代码） | 供后续实验复用，避免每次重新定义 | 长期保存至字典更新 |
| 口径确认邮件或审批记录 | 防止因口径变更导致实验结果被挑战 | 至少保留至实验复盘后1个月 |
3.7 异常处理
常见异常与应对措施：
- 口径无法与现有埋点对齐： 立即启动埋点补充工单，同时评估是否可以先用近似指标代替作为实验指标。禁止在无数据验证情况下强行使用无法计算的口径。
- 护城河指标与关注指标存在统计冲突： 若实验对护城河产生负向影响，即使关注指标显著正向提升，也必须宣告实验失败或调优，不可上线。
- 团队内部对口径存在分歧： 使用指标字典模板进行实名投票或基于上一轮实验效果的一致性结果（如历史数据）来裁定，最终由产品负责人拍板。
3.8 验收标准
本章交付物验收清单：
- 指标字典已包含关注指标、护城河指标、次级指标三个层级。
- 每个指标均定义了用户层口径和事件层口径。
- 指标字典中的计算公式可通过当前埋点数据无歧义地计算出来。
- 所有口径定义已与数据团队、开发团队同步过会并签字确认。
最佳实践提示：建议在指标字典中额外记录“口径变更历史”，例如“2024-06-01 V2 将注册转化率分母由‘访问注册页’改为‘发送验证码’，原因是注册页异常导致分母虚高”。这能极大提升后续实验的可解释性。
3.9 核心概念图：指标分层与决策映射
3.10 指标字典模板（核心交付物示例）
{
"实验名称": "首页改版-新用户引导流程A/B测试",
"一级关注指标": {
"指标名称": "新用户4日留存率",
"用户层口径": "所有在实验期内被分组的且当日首次注册的user_id",
"事件层口径": "事件名: app_open; 条件: 距注册日第4天当天至少触发一次app_open",
"计算公式": "第4天活跃user个数 / 注册当日分组user总个数"
},
"护城河指标": {
"指标名称": "核心功能使用率",
"用户层口径": "所有在实验期内分组的用户",
"事件层口径": "事件名: send_message; 要求: 每日至少发送1条消息",
"护城河阈值": "实验组使用率不得低于基线组的95%"
},
"次级指标": [
{
"指标名称": "人均注册耗时",
"用户层口径": "完成注册流程的用户",
"事件层口径": "从第一个注册页面加载到注册成功事件的时间差",
"说明": "用于解释留存率变化是否与注册体验流畅度相关"
},
{
"指标名称": "步骤流失率",
"用户层口径": "进入注册页的用户（至少加载1个注册页面）",
"事件层口径": "在注册流程中未触发下一步事件的用户占比",
"说明": "用于发现具体在哪个步骤用户跳出"
}
]
}