第3章：核心分析指标与口径确认
适用场景
本章适用于以下具体场景，要求分析团队在进入效果评估前完成所有指标口径的书面确认：
- 转化率口径存在多版本：如点击转化 vs 订单转化 vs 付款转化，不同业务线定义不同。
- ARPU 计算边界模糊：是否包含退款用户、测试期内未活跃用户、异常高额付费用户。
- 留存率窗口期未锁定：次日留存 / 7日留存 / 30日留存未提前约定。
- 统计推断参数未固化：置信水平、最小可检测效应量、显著性阈值未写入分析计划。
- 多指标优先级冲突：转化率正向提升但ARPU下降时，缺乏决策锚点。
前置条件
- 已完成实验分组（对照 / 实验组）且流量划分比例固化。
- 数据采集层已完成埋点校验，事件日志无丢失、无重复。
- 分析人员持有实验期间完整的行为流水表与用户属性宽表。
- 实验设计文档已明确记录原始指标定义（未经口径标准化）。
- 团队已共同确认本章输出的“核心指标口径确认表”为最终分析基准。
知识结构总览
六个指标并非并列关系，而是构成从业务度量到统计推断的四层漏斗：
业务层度量（转化率、ARPU、留存率）→ 统计推断层（置信区间）→ 效应量化层（效应量）→ 决策阈值层（显著性水平）
每一层都依赖前一层的口径固化，跳过口径确认直接计算统计量会导致结论不可复用。
操作步骤：六项指标口径确认
以下步骤要求逐项执行，每项确认完成后由数据负责人与业务负责人双签。
| 步骤 | 分析指标 | 口径确认要点 | 典型争议与解决原则 |
|---|---|---|---|
| S1 | 转化率 | 分子=目标行为用户数（去重）；分母=实验组暴露用户数；排除「预转化用户」与「测试期未加载用户」 | 争议：用户重复转化是否计多次？→ 统一按“首次转化”计，多事件场景取最早事件时间。 |
| S2 | ARPU | 总营收 ÷ 实验组用户数；营收含正向收入、退款、礼品卡抵扣；排除测试道具充值 | 争议：高额用户是否截尾？→ 采用 99% 分位数 Winsorize 处理，记录截尾前后两个版本。 |
| S3 | 留存率 | 指定窗口期（如 D7 留存）；活跃定义：当日 ≥ 1 个非后台事件；包含回流用户 | 争议：窗口期遇节假日是否偏移？→ 固定自然日，不因日期调整偏移量。 |
| S4 | 置信区间 | 采用 95% 置信水平（α=0.05）；计算方法：正态近似法或 Bootstrap 百分位法 | 争议：样本量不足时是否仍用正态近似？→ 改用 Bootstrap 法（≥1000 次重采样）。 |
| S5 | 效应量 | Cohen's d = (μ₁−μ₂) / σ_pooled；或相对提升率 = (μ₁−μ₂) / μ₂ × 100% | 争议：小效应量是否实用？→ 结合最小可检测效应量（MDE）判断业务显著性。 |
| S6 | 显著性水平 | α 固定为 0.05（双尾）；若多重比较则采用 Bonferroni 校正 | 争议：能否在结果出后调整 α？→ 严禁事后调整，必须在分析计划中锁定。 |
输入输出物
| 类型 | 输入物（需提前就位） | 输出物（本章完成后交付） |
|---|---|---|
| 文档 | 实验设计文档（含原始指标定义） | 《核心指标口径确认表》（V1.0 签批版） |
| 数据 | 用户行为日志宽表、营收流水表、用户属性表 | 口径标准化后的分析用宽表（含转化标记、ARPU、留存标记列） |
| 配置 | 统计软件 / 脚本环境（Python / R / SQL） | 口径校准脚本（参数化版本，可复用至后续实验） |
| 决策 | 多指标冲突时的优先级规则（草稿） | 最终确定的指标优先级排序（固化至分析模板） |
责任边界
⚠ 责任划分不清是口径混乱的首要原因。请严格按以下矩阵锁定角色：
- 数据工程师（DE）：负责提供原始事件流水与用户宽表，确保字段完整且无空值。
- 数据分析师（DA）：负责口径定义的具体落地，编写口径校准脚本，输出确认表。
- 业务负责人（PO/PM）：负责审批业务层指标（转化率/ARPU/留存率）的口径定义，对业务逻辑正确性负责。
- 统计专家（Statistician）：负责统计推断层指标（置信区间/效应量/显著性水平）的方法选型与审核。
- 质量保证（QA）：对口径校准脚本执行独立测试，验证输出与手工抽样结果一致。
记录材料
本章执行完毕后，须归档以下四份记录材料至实验分析存储库：
- 《核心指标口径确认表》（PDF 签批版）——含六项指标的分子/分母/排除规则/异常处理策略。
- 口径校准脚本（Python / SQL）——包含参数化配置模块，可一键重跑。
- 口径争议备忘——记录口径讨论过程中出现的分歧、决策依据与投票结果。
- 数据抽样验证报告——QA 从宽表中随机抽取 200 条用户记录，人工比对口径标记与脚本输出的一致性。
异常处理
在口径确认过程中，以下三类高频异常要求按预设策略直接处置，无需上报：
| 异常类型 | 异常描述 | 处置策略 |
|---|---|---|
| A类 | 用户 ID 在实验组与对照组的交集非空（重复分流） | 以首次实验分组为准，清除该用户在另一组的所有日志；记录重复用户清单备查。 |
| B类 | 营收表中出现负值或异常大额（如单笔 > 平均值 50 倍） | 对异常值做 99.9% 分位数截尾；同时计算截尾前/后两个 ARPU 版本并脚注说明。 |
| C类 | 某指标计算所需的样本量不足（如留存率窗口期未结束） | 该指标标注“待定（数据待采集）”，不纳入当前分析批次，延至下一批次。 |
验收标准
本章内容是否完成，由以下五项验收条目判定，全部通过方可进入下一章：
- 口径确认表完整：六项指标的分子、分母、排除规则、特殊场景处理全部填写，无空白项。
- 双签就位：数据负责人与业务负责人对转化率、ARPU、留存率三项业务口径签字确认。
- 脚本可复现：口径校准脚本在 QA 环境下运行，输出与手工抽样 200 条数据的比对一致率达 100%。
- 统计方法固定：置信区间计算方法、效应量公式、显著性水平 α 值在分析计划中明确声明，无歧义。
- 争议归档：所有口径讨论中的分歧、决策理由、投票记录已整理为《口径争议备忘》并提交至知识库。
💡 最佳实践提示： 口径确认不是一次性工作。当实验迭代进入第二阶段（如调整流量比例或新增指标）时，应返回本章重新执行 S1–S6 步骤中的变更部分，并在确认表中以版本号标记变更历史（如 V1.0 → V1.1）。保持口径版本可追溯，是长期 A/B 测试质量体系的基石。