1. A/B测试基础概念

1.1 A/B测试的定义

A/B测试（又称分桶测试、对照实验）是一种通过对比两个或多个版本在同一环境下的表现，来评估策略或模型效果差异的统计方法。在模型评估场景中，A/B测试将用户或样本随机分为两组：实验组（Treatment）应用新模型，对照组（Control）沿用旧模型或基线策略，通过比较两组在核心指标上的差异，判断新模型是否带来统计显著的提升。

1.2 在模型评估中的核心价值

A/B测试在模型效果评估中承担着“最终验证”的角色，其核心价值体现在以下四个方面：

1. 因果推断能力：通过随机化分组，隔离模型变更带来的真实影响，排除时间、环境等混杂因素的干扰。
2. 统计显著性检验：基于p值和置信区间，判断观测到的指标差异是否由随机波动引起，避免“拍脑袋”决策。
3. 多维度效果评估：不仅关注核心业务指标（如CTR、转化率），还能同时监控负向指标（如用户流失率、系统延迟），发现模型副作用。
4. 渐进式上线保障：支持小流量实验，在全面上线前发现潜在风险，降低模型迭代的试错成本。

1.3 与传统离线评估的区别

传统离线评估（如划分训练集/测试集、计算AUC/LogLoss）与在线A/B测试在评估逻辑上存在本质差异。下表从多个维度进行对比：

1.4 A/B测试在模型评估中的典型流程

下图展示了从模型开发到A/B测试验证的完整流程，清晰呈现离线评估与在线实验的衔接关系：

1.5 常见误区与避坑指南

• 误区一：离线指标好 = 线上效果好。离线评估无法模拟用户真实行为反馈（如点击疲劳、推荐多样性需求），必须通过A/B测试验证。
• 误区二：A/B测试样本量越大越好。样本量过大会导致统计检验过于敏感，微小的、无业务意义的差异也会被判定为显著。需结合效应量（Effect Size）判断实际意义。
• 误区三：忽略多重比较问题。同时观察多个指标或多次检验时，需进行多重假设检验校正（如Bonferroni校正、FDR控制），否则假阳性率会膨胀。
• 误区四：实验组和对照组流量不均衡。流量分配需严格随机，避免因时间、地域、用户属性等非随机因素引入偏差。