4. 实验目标设定：业务目标、关键指标(KPI)、成功标准定义
实验目标是 Champion Challenger 设计的起点。一个定义模糊的目标会导致指标混乱、结论无效，甚至将错误的模型部署到生产环境。本节将系统性地拆解如何将业务问题转化为可衡量的实验目标。
4.1 三层目标分解法
有效的实验目标需要从抽象的业务愿景逐层下沉到可操作的技术指标。我们推荐使用“三层目标分解法”来构建目标体系：
- 业务目标层：回答“为什么要做这个实验”，通常与营收、成本、用户留存等商业结果直接挂钩。
- 关键指标层 (KPI)：回答“用什么指标来衡量实验效果”，必须是可量化、可采集、对业务目标有直接贡献的度量。
- 成功标准层：回答“怎样才算实验成功”，包含统计显著性的阈值、最小可检测效应量 (MDE) 以及业务可接受的权衡边界。
核心原则：业务目标决定 KPI 的方向，KPI 决定成功标准的计算方式。三层之间必须形成可追溯的因果链，不能出现“业务目标是要提升收入，但 KPI 却只关注模型响应速度”的脱节。
4.2 业务目标定义
业务目标应遵循 SMART 原则：具体 (Specific)、可衡量 (Measurable)、可达成 (Achievable)、相关性 (Relevant)、有时限 (Time-bound)。在 Champion Challenger 场景中，常见的业务目标类型包括：
| 目标类型 | 典型表述 | 适用场景 |
|---|---|---|
| 收入增长 | “提升推荐商品的点击转化率，从而带动 GMV 增长 5%” | 推荐系统、定价模型 |
| 成本优化 | “在维持当前转化率的前提下，降低广告投放的 CPA 15%” | 广告竞价、风控模型 |
| 用户体验 | “减少搜索结果中无关内容的占比，提升用户搜索满意度 NPS 分数” | 搜索排序、内容推荐 |
| 风险控制 | “在不增加人工审核量的情况下，将欺诈交易识别率提高 20%” | 反欺诈、信用评分 |
常见陷阱：业务目标不要写成技术目标。例如“将 AUC 提升 0.02”是模型指标，不是业务目标。正确的做法是：“通过提升模型 AUC，使高风险交易拦截率提高 10%，从而减少坏账损失 200 万元/月”。
4.3 关键指标 (KPI) 设计
KPI 是连接业务目标与实验结果的桥梁。设计 KPI 时，需要同时关注 核心指标 和 护栏指标：
- 核心指标：直接反映业务目标达成情况的指标，通常只有 1-2 个。例如，业务目标是“提升收入”，核心指标可以是“单用户平均收入 (ARPU)”或“转化率”。
- 护栏指标：用于监控实验是否对系统其他部分产生了负面影响。例如，新模型虽然提升了点击率，但导致页面加载时间变长，进而损害了用户体验。护栏指标可以包括“页面响应时间”、“用户跳出率”、“客服投诉率”等。
以下是一个 KPI 设计示例，对应“提升推荐商品点击转化率”的业务目标：
| 指标类别 | 指标名称 | 计算方式 | 数据来源 |
|---|---|---|---|
| 核心指标 | 推荐位点击率 (CTR) | 推荐商品点击数 / 推荐商品曝光数 | 埋点日志 |
| 核心指标 | 推荐位转化率 (CVR) | 通过推荐位下单的用户数 / 点击推荐商品的用户数 | 订单系统 + 埋点日志 |
| 护栏指标 | 页面平均加载时间 | 所有用户页面加载时间的均值 | 性能监控系统 |
| 护栏指标 | 用户跳出率 | 仅浏览一个页面就离开的用户占比 | 分析平台 |
4.4 成功标准定义
成功标准是实验的“判决书”。它必须包含以下三个要素：
- 统计显著性水平 (α)：通常设定为 0.05，表示有 95% 的置信度认为 Challenger 与 Champion 的差异不是由随机波动造成的。
- 统计功效 (1-β)：通常设定为 0.80，表示当 Challenger 确实优于 Champion 时，实验有 80% 的概率能检测出这个差异。
- 最小可检测效应量 (MDE)：业务上认为有意义的最小提升幅度。例如，CTR 提升 0.5% 在统计上可能显著，但业务上认为至少提升 2% 才有部署价值。MDE 直接影响所需样本量的计算。
实践建议：成功标准应包含“正向显著”、“负向显著”和“无显著差异”三种情况的处理预案。例如：
- 若 Challenger 在核心指标上正向显著，且护栏指标无显著恶化 → 部署 Challenger。
- 若 Challenger 在核心指标上负向显著 → 立即停止实验，回滚至 Champion。
- 若无显著差异 → 根据成本或复杂度决定是否替换，或延长实验周期。
- 若 Challenger 在核心指标上正向显著，且护栏指标无显著恶化 → 部署 Challenger。
- 若 Challenger 在核心指标上负向显著 → 立即停止实验，回滚至 Champion。
- 若无显著差异 → 根据成本或复杂度决定是否替换，或延长实验周期。
4.5 目标与指标的关系图
下面的 SVG 图展示了从业务目标到成功标准的完整链路，以及核心指标与护栏指标在实验决策中的角色：
4.6 实验目标设定检查清单
在开始实验设计之前，请使用以下清单对目标设定进行自检：
| 检查项 | 自检问题 | 通过标准 |
|---|---|---|
| 业务目标对齐 | 实验目标是否直接支撑当前季度的业务 OKR？ | 是，且能说出具体支撑关系 |
| KPI 可量化 | 所有 KPI 是否都有明确的数据采集口径和计算逻辑？ | 是，且数据源已确认可用 |
| 护栏指标完备 | 是否覆盖了可能被实验影响的上下游系统指标？ | 至少包含 2 个护栏指标 |
| MDE 合理性 | 最小可检测效应量是否与业务预期收益匹配？ | MDE ≤ 业务预期收益的 50% |
| 样本量预估 | 根据 MDE、α、功效，预估的样本量是否在流量范围内？ | 是，且预留 20% 余量 |
案例提示：某电商平台计划测试新的商品排序模型。业务目标是“提升搜索页的 GMV”。核心指标设定为“搜索页支付转化率”，MDE 为 0.5 个百分点。护栏指标包括“搜索页加载时间”和“用户搜索后二次点击率”。成功标准定义为：Challenger 模型在 95% 置信水平下，支付转化率提升 ≥ 0.5 个百分点，且加载时间增加不超过 100ms，二次点击率不下降。该设定确保了实验既能验证业务收益，又能监控用户体验风险。