📚 课程目录第2章实验设计原则

实验设计原则：随机化、对照、重复、区组在 Champion Challenger 实验中的应用

在 Champion Challenger 实验中，实验设计原则是确保结果可信、可复现、可推广的基石。如果违背这些原则，即使模型离线指标再高，上线后也可能出现效果反转或统计误判。本节将逐一拆解四大原则——随机化、对照、重复、区组——在 Champion Challenger 场景下的具体落地方式。

2.1 随机化原则：消除选择偏差与时间混杂

随机化的核心目标是让实验组（Challenger）和对照组（Champion）在除模型版本外的所有特征上保持可比性。在线上流量分配中，随机化通常体现在以下两个层面：

用户级随机化：将用户 ID 或设备 ID 通过哈希分桶，确保每个用户被均匀分配到 Champion 或 Challenger 组。适用于推荐、搜索、广告等个性化场景。
请求级随机化：每次用户请求独立随机分配模型版本。适用于无状态服务（如翻译、图像识别），但需注意同一用户可能在不同请求中体验不同模型，可能引入用户感知偏差。

  ⚠️ 常见陷阱： 如果随机化种子固定且分桶数过少（如仅 2 个桶），可能因用户活跃度差异导致流量倾斜。建议使用一致性哈希 + 至少 100 个分桶，再按实验需求合并为 Champion/Challenger 组。

下表对比了两种随机化策略的适用场景与风险：

策略	适用场景	主要风险	推荐做法
用户级随机化	推荐系统、广告排序、个性化推送	用户跨天行为不一致，需固定分桶	使用 user_id 哈希，分桶数 ≥ 100
请求级随机化	翻译、图像分类、通用 NLP 服务	同一用户可能同时体验两个模型	仅用于无状态、单次交互场景

2.2 对照原则：Champion 作为基准锚点

对照原则要求实验必须包含一个已知效果的基准组。在 Champion Challenger 框架中，Champion（当前线上模型）天然就是对照组，Challenger（候选模型）是实验组。对照的意义在于：

隔离模型效果：通过 Champion 组的表现，可以剔除系统噪声（如节假日流量波动、基础设施变更）对指标的影响。
量化提升幅度：Challenger 组与 Champion 组的指标差异，直接反映模型改进的净效果。
支持 A/B 对比：对照原则是 A/B 测试的数学基础，所有统计检验（如 t 检验、Mann-Whitney U 检验）都依赖两组数据的对比。

💡 最佳实践： 即使 Challenger 模型在离线评估中表现明显优于 Champion，也必须保留 Champion 对照组。离线指标（如 AUC、NDCG）与线上业务指标（如 CTR、转化率）之间可能存在偏差，对照实验是唯一校准手段。

2.3 重复原则：样本量与统计功效

重复原则要求实验有足够的样本量，使得随机误差可以被估计，统计检验具有足够的功效（Power）。在 Champion Challenger 实验中，重复不是指重复运行实验，而是指每个实验组包含足够多的独立观测单元。

样本量估算公式（简化版）：

n = (Z_α/2 + Z_β)² × 2σ² / δ²

其中：
  n      = 每组所需样本量
  Z_α/2  = 显著性水平对应的 Z 值（α=0.05 时取 1.96）
  Z_β    = 统计功效对应的 Z 值（Power=0.8 时取 0.84）
  σ²     = 指标方差（可通过历史数据估算）
  δ      = 最小可检测效应量（MDE）

实际落地时，建议遵循以下步骤：

确定核心指标：如 CTR、转化率、收入等，并获取其历史均值与方差。
设定 MDE：通常取 1%～5% 的相对提升，过小的 MDE 会导致样本量爆炸。
计算最小样本量：使用上述公式或在线计算器，确保每组样本量满足要求。
预留缓冲：考虑用户流失、数据延迟等因素，实际流量应比计算值多 20%～30%。

🚨 常见误区： 不要将“重复运行实验”等同于“重复原则”。重复原则关注的是组内样本量，而非实验次数。多次重复同一实验而不增加样本量，只会浪费流量，不会提高统计功效。

2.4 区组原则：控制已知干扰因素

区组原则（Blocking）是将实验对象按某些已知干扰因素分成同质子组（区组），在每个区组内独立进行随机化分配。在 Champion Challenger 实验中，常见的区组变量包括：

用户分层：新用户 vs 老用户、高活跃 vs 低活跃、付费用户 vs 免费用户。
流量来源：自然流量 vs 付费流量、移动端 vs PC 端、不同渠道（如搜索、社交、邮件）。
时间窗口：工作日 vs 周末、促销期 vs 平销期、白天 vs 夜间。

区组设计的优势在于：

降低组内方差：同一区组内的用户行为更相似，Champion 与 Challenger 的对比更灵敏。
发现异质性效应：Challenger 模型可能在某些区组中表现更好，在另一些区组中更差，区组设计可以揭示这种交互效应。
提升实验精度：在样本量固定的情况下，区组设计可以显著提高统计功效。

  📌 区组 vs 分层随机化： 区组设计是在实验设计阶段主动划分区组，然后在每个区组内独立随机化；分层随机化是在分析阶段按分层变量进行事后调整。前者更严谨，后者更灵活。在 Champion Challenger 实验中，建议优先使用区组设计。

2.5 四大原则的协同落地流程

在实际 Champion Challenger 实验中，四大原则并非孤立执行，而是需要按以下流程协同落地：

定义实验目标与核心指标（如 CTR、转化率、收入）
识别关键干扰因素（用户分层、流量来源、时间窗口）并设计区组
计算每组所需样本量（重复原则），确保统计功效 ≥ 0.8
实施随机化分配（用户级或请求级），在每个区组内独立随机
设置 Champion 对照组，Challenger 组与 Champion 组并行运行
监控实验过程，检查随机化是否被破坏、样本量是否充足
分析结果，按区组分别计算效应量，并做整体统计检验

💡 效率提示： 如果实验平台支持多变量区组（如同时按用户分层和流量来源分区组），建议使用分层区组设计（Stratified Blocking），可以进一步降低方差。但需注意区组数量不宜过多，否则每个区组内的样本量可能不足。

2.6 原则冲突时的优先级决策

在资源受限（如流量有限、实验周期短）的情况下，四大原则可能相互冲突。以下是常见的冲突场景及推荐优先级：

冲突场景	原则冲突	推荐决策	理由
流量不足，无法同时满足重复和区组	重复 vs 区组	优先保证重复（样本量），减少区组数量	样本量不足会导致统计功效过低，区组设计失去意义
随机化可能破坏用户体验	随机化 vs 对照	优先保证随机化，通过事后分析补偿对照	随机化是因果推断的基础，对照可以通过历史数据或 DIDs 方法近似
实验周期短，无法积累足够样本	重复 vs 时间窗口区组	缩短时间窗口区组，合并多天数据	时间窗口区组可以事后分析，但样本量不足无法补救

🚨 底线原则： 随机化和对照原则在任何情况下都不能被完全放弃。没有随机化，实验结论无法归因于模型变化；没有对照，无法量化提升幅度。重复和区组可以在资源受限时适当妥协，但必须记录妥协方案对结论置信度的影响。