📚 课程目录第3章实验目标与关键指标定义

第3章：实验目标与关键指标定义

指标体系的定义是 A/B 测试从“想法”走向“可量化判断”的第一道分水岭。在 RICE 评分体系中，影响力（Impact）和置信度（Confidence）两个维度的验证，完全依赖清晰的核心指标与辅助指标。本章将沿着“业务目标→核心指标→辅助指标→统计参数”的链路，把模糊的产品假设翻译成可计算的度量口径。

3.1 从业务目标到核心指标

任何 A/B 测试必须先回答：“这个实验到底要改变什么？” 以 RICE 评分案例中的智能客服入口改版为例：

层级	描述	示例（智能客服入口改版）
业务目标	高层级的产品或商业期望	降低客服人工成本 + 提升用户自助解决率
核心指标	直接量化实验效果的单一北极星度量	会话自助完结率（用户未转人工即解决）
辅助指标	监控漏斗健康度与负向影响的次要度量	人工转接率、平均解决时长、用户满意度（CSAT）
护栏指标	不可突破的底线，否则实验立即停止	会话整体完成率不得下降超过 2%

实践建议： 核心指标只能选 1 个，最多不超过 2 个。多核心 = 无核心，会导致统计检验多重比较问题，使假阳性概率急剧上升。

3.2 指标口径定义

口径歧义是 A/B 测试中最隐蔽的误差来源。同一个指标名称，不同团队计算出的数值可能相差 30% 以上。以下口径模板必须在实验开始前以文档形式锁定：

  指标口径卡（示例：会话自助完结率）
  指标名称：会话自助完结率
计算方式：自助完结会话数 ÷ 所有发起会话数 × 100%
自助完结定义：用户进入客服会话后，未触发“转人工”事件，且在 30 分钟内主动关闭或收到“是否解决”确认后关闭。
排除规则：① 会话时长 < 5 秒的空会话；② 系统自动推送消息的静默会话；③ 测试账号产生的会话。
聚合粒度：按用户 ID 去重，每个用户每天只计 1 次首次会话。
数据源：客服事件流（Kafka topic: customer_service_events）→ 实时数仓 DWD 层。

在锁定口径后，还需要确认统计口径的时序对齐——实验组和对照组必须在同一时间窗口、同一计算逻辑下产出指标值，避免因数据管道延迟或回溯窗口不一致导致的偏差。

3.3 统计功效与最小样本量估算

在 A/B 测试中，统计功效（Statistical Power）指当真实差异存在时，实验能够正确拒绝零假设的概率。行业标准要求功效 ≥ 80%。最小样本量估算需要以下参数：

参数	符号	设定值（案例）	说明
显著水平	α	0.05	假阳性风险控制在 5%
统计功效	1 − β	0.80	假阴性风险控制在 20%
最小可检测效应	MDE	2%	相对提升 2% 即认为有实际意义
基线转化率	p₀	35%	当前自助完结率的稳定值

常见误区： 不要在实验结束后反推最小样本量，也不要把统计上显著的极小效应（如 0.1% 的提升）直接当作业务胜利。MDE 的设定必须来自 RICE 评分中“影响力”维度的阈值，两者应保持一致。

基于上述参数，使用独立比例双尾检验公式估算每组所需样本量：

n = (Zα/2 + Zβ)² × [p₁(1 − p₁) + p₂(1 − p₂)] / (p₂ − p₁)²

其中：
p₀ = 0.35（基线）
p₁ = p₀ × (1 + MDE) = 0.357
p₂ = p₀ × (1 − MDE) = 0.343
Zα/2 = 1.96（α = 0.05，双尾）
Zβ = 0.84（功效 0.80）
n ≈ 15,847（每组）

实际运行时建议上浮 10%～15%，以应对用户流失、数据异常和过滤条件：每组目标样本量 ≈ 18,000。

3.4 核心指标 → 统计参数关系图

上图完整展示了从业务目标到实验启动的逻辑链路：核心指标与辅助/护栏指标并行定义，随后统一进入口径锁定阶段，再输出统计参数，最终决定最小样本量并启动实验。任何一环缺失或定义模糊，都会导致 RICE 验证失效。

3.5 统计参数检查清单

在实验上线前，请逐项确认以下参数已记录到实验设计文档（EDD）：

显著水平 α：默认 0.05，若涉及多重比较需做 Bonferroni 校正。
统计功效 1 − β：不低于 0.80，资源充足时可提升至 0.90。
最小可检测效应 MDE：与 RICE 评分中 Impact 的阈值对齐，建议设为绝对提升 ≥ 1.5% 或相对提升 ≥ 2%。
基线转化率 p₀：取实验前 4 周的稳定均值，排除异常周。
最小样本量 n：每组独立估算，上浮 10%～15% 作为缓冲。
实验时长：至少覆盖 1 个完整业务周期（如 7 天），且不小于 3 天。

交付物模板：实验指标定义卡

本章完成后，应输出一份 实验指标定义卡 表格，包含指标名称、口径描述、数据源、聚合粒度、预期方向、统计参数设定。该模板将直接用于第 4 章的实验方案表达阶段。

| 指标名称       | 口径摘要                     | 数据源              | 聚合粒度     | 预期方向 |
|----------------|------------------------------|---------------------|--------------|----------|
| 会话自助完结率 | 自助完结会话数/总会话数×100% | 客服事件流 DWD 层  | 用户 ID 去重 | 提升     |
| 人工转接率     | 转人工会话数/总会话数×100%   | 客服事件流 DWD 层  | 用户 ID 去重 | 下降     |
| 平均解决时长   | 从首次消息到关闭的总分钟数   | 客服事件明细表     | 会话粒度     | 缩短     |
| CSAT           | 满意度评分均值（1-5分）      | 售后评价表         | 用户 ID 去重 | 维持或升 |

只有完成了核心指标锁定、辅助指标监控、口径书面化、统计参数估算这四步，A/B 测试才算是具备了“可执行”的基础。下一阶段将基于这些定义，设计具体的实验方案与分流逻辑。