第4章 业务影响评估：关联核心业务目标

适用场景

• 已完成A/B测试的假设检验与统计显著性判断，确定了核心指标是否显著提升或下降。
• 需要向业务方（产品、运营、决策层）汇报实验价值或风险，决策是否全量上线、回滚或调整。
• 指标波动幅度超出预期（正向或负向），需要量化对整体业务大盘的实际冲击。
• 多个实验并行时，需要统一口径评估各实验的业务影响权重。

前置条件

1. 实验组与对照组已明确，且两组样本量、时间窗口一致。
2. 已计算核心指标（如转化率、ARPU、次日留存）的置信区间与效应量。
3. 已获取对照组的基线业务数据（日营收、月留存率、用户总数等）。
4. 已确认核心业务目标（营收、留存、转化）的当前基数及换算关系（例如：单次转化平均GMV、日活用户人均贡献营收等）。

操作步骤

1. 确定核心业务目标映射关系：将实验指标与业务目标建立数学公式。
   • 示例：若实验指标为“注册转化率”，关联业务目标为“新增用户数”，则：新增用户数 = 注册转化率 × 访问该流程的用户量。
   • 若实验指标为“客单价”，关联业务目标为“日营收”，则：日营收 = 客单价 × 订单数。
2. 计算绝对影响值：使用实验组与对照组指标的差值，乘以相关业务基数。
   公式：绝对影响值 = (实验组指标值 - 对照组指标值) × 对应业务基数
3. 计算相对影响值（百分比变化）：将绝对影响值除以基线业务目标值。
   公式：相对影响值 = 绝对影响值 ÷ 对照组业务目标值 × 100%
4. 考虑幅度区间（置信区间映射）：将指标的置信区间上下界分别代入步骤2-3，得到业务影响的可信范围。
5. 生成业务影响报告表：汇总绝对值、相对值、置信区间，并标注“正向/负向/统计显著/实际显著”。

输入输出物

责任边界

• 数据分析师 / 实验工程师：负责计算映射公式、绝对值与相对值，确保计算口径正确。
• 业务方（产品经理/运营负责人）：提供业务基线数据，审核业务目标关联关系的合理性，确认换算系数。
• 决策委员会/项目负责人：基于本报告的量化结果做出上线/回滚决策。

记录材料

• 《业务影响评估计算单》（含公式、基线、系数、结果）
• 《实验决策会议纪要》（记录评估结论与投票结果）
• 《监控看板截图》（留存影响期间的业务大盘数据）

异常处理

• 业务基线数据缺失：使用近30天移动平均值或同类实验对照组的基线值，并在报告中标注“估算值”。
• 指标与业务目标无直接换算关系：与业务方共同定义代理变量（例如：点击率变动 → 预估额外点击量 → 换算为额外广告收入）。
• 置信区间跨度极大（覆盖正负两侧）：不能得出确定性结论，标注为“需要扩大样本量/延长实验周期再评估”。
• 外部事件干扰（促销、大促）：使用同期同层用户数据做双重差分，剔除噪声。

验收标准