1. A/B测试基础概念
1.1 什么是A/B测试
A/B测试（又称分流实验、桶测试）是一种在受控环境下比较两个或多个版本效果的统计方法。其核心思想是：将实验对象随机分为两组或多组，分别施加不同的处理（如模型A与模型B），然后通过对比结果指标来判断哪个版本更优。
核心公式： A/B测试的本质是假设检验 —— 通过样本数据推断总体是否存在显著差异。
在模型验证场景中，A/B测试通常用于比较以下内容：
- 新模型 vs 基线模型：验证新模型是否在关键指标上显著优于当前线上模型。
- 模型版本迭代：比较不同特征工程、超参数或算法结构的效果。
- 模型策略对比：如不同阈值、不同排序策略、不同推荐逻辑的线上效果。
1.2 历史起源
| 时期 | 关键事件 | 对A/B测试的贡献 |
|---|---|---|
| 1920年代 | 罗纳德·费希尔（Ronald Fisher）提出随机化实验与方差分析 | 奠定了现代实验设计的统计学基础 |
| 1950年代 | 医学领域双盲随机对照试验（RCT）成为金标准 | 确立了随机分组与对照组的实验范式 |
| 1990年代 | 互联网公司开始将A/B测试用于网页优化 | 从线下实验扩展到线上实时分流场景 |
| 2000年代 | Google、Amazon、Netflix等大规模部署A/B测试平台 | 形成了工业级分流、统计监控与决策体系 |
| 2010年代至今 | A/B测试成为机器学习模型线上验证的标准流程 | 与模型生命周期管理、MLOps深度集成 |
关键认知： A/B测试并非互联网时代的发明，其统计学根基早在近百年前就已建立。互联网只是让A/B测试从"实验室"走向了"线上实时"。
1.3 A/B测试在模型验证中的核心价值
在模型验证场景中，A/B测试承担着不可替代的角色。以下表格总结了其核心价值维度：
| 价值维度 | 具体说明 | 典型场景 |
|---|---|---|
| 因果推断 | 通过随机分流消除混淆变量影响，建立模型改动与效果变化之间的因果关系 | 新推荐模型是否真正提升了用户点击率 |
| 离线-在线一致性验证 | 离线评估指标（如AUC、LogLoss）与线上业务指标（如转化率、留存率）往往存在偏差，A/B测试是弥合这一鸿沟的关键手段 | 离线AUC提升2%，线上转化率是否同步提升 |
| 风险控制 | 小流量实验可以提前发现模型负向效果，避免全量上线造成业务损失 | 新风控模型误杀率过高，小流量实验及时止损 |
| 多目标权衡 | 模型优化往往涉及多个指标（如点击率与转化率、精度与召回率），A/B测试可以同时观测多个业务指标的变化 | 新排序模型提升了点击率但降低了客单价 |
| 统计显著性保障 | 提供p值、置信区间、功效分析等统计工具，避免因随机波动做出错误决策 | 判断2%的转化率提升是真实效果还是随机波动 |
1.4 A/B测试与离线评估的对比
理解A/B测试在模型验证中的位置，需要明确其与离线评估的差异：
| 对比维度 | 离线评估 | A/B测试（在线实验） |
|---|---|---|
| 数据来源 | 历史标注数据 | 实时线上流量 |
| 评估指标 | AUC、LogLoss、F1、NDCG等 | CTR、CVR、留存率、GMV等业务指标 |
| 因果能力 | 只能评估相关性 | 可以推断因果关系 |
| 环境偏差 | 存在数据分布偏移风险 | 真实业务环境，偏差最小 |
| 成本 | 低，可快速迭代 | 高，需流量、时间、监控资源 |
| 风险 | 无线上风险 | 存在负向影响业务的风险 |
常见误区： 很多团队认为离线评估效果好就可以直接全量上线，忽略了离线-在线指标不一致的问题。A/B测试是模型上线的最后一道防线，不可跳过。
1.5 A/B测试在模型验证中的典型流程
一个完整的模型验证A/B测试通常包含以下步骤：
- 定义假设：明确零假设（H₀）与备择假设（H₁），例如H₀：新模型与基线模型效果无差异。
- 确定指标：选择主要指标（Primary Metric）与次要指标（Secondary Metrics），并设定最小可检测效应量（MDE）。
- 计算样本量：基于显著性水平α、统计功效1-β、MDE计算所需样本量。
- 随机分流：将用户/请求随机分配到实验组与对照组，确保两组在实验前无显著差异。
- 运行实验：在预设时长内收集数据，期间监控实验组与对照组的指标变化。
- 统计分析：使用t检验、Z检验或Mann-Whitney U检验等方法计算p值。
- 决策与部署：根据统计显著性与业务意义决定是否全量上线新模型。
1.6 常见误区与避坑指南
- 提前查看结果：在样本量未达到预定值时反复查看p值，会导致第一类错误膨胀。应设定固定实验周期。
- 忽略分流均匀性：随机分流后应做分流均匀性检验（如对年龄、性别等协变量做卡方检验），确保两组在实验前无显著差异。
- 多重比较问题：同时观察多个指标时，应使用Bonferroni校正或FDR控制，避免因多重比较导致假阳性。
- 样本量不足：在样本量不足时运行实验，即使存在真实效果也可能无法检测到，导致假阴性。
- 忽略网络效应：在社交网络、推荐系统等场景中，实验组与对照组可能存在干扰，需要使用网络A/B测试或集群随机化。
最佳实践： 在模型验证中，建议先进行离线评估筛选出有潜力的候选模型，再通过A/B测试进行线上验证。离线评估是"漏斗"，A/B测试是"关卡"，两者配合使用才能高效可靠地完成模型验证。