1. A/B测试概述
1.1 A/B测试的定义
A/B测试（又称分桶测试、对照实验）是一种通过对比两个或多个版本在同一环境下的表现，来验证假设、评估效果的统计方法。在模型验证场景中，A/B测试将模型输出（实验组）与基准模型或线上现行策略（对照组）同时作用于同一业务流，通过收集用户行为或系统指标，判断新模型是否带来统计显著的改进。
核心公式： 实验组指标 − 对照组指标 > 最小可检测效应（MDE），且 p 值 < 显著性水平 α（通常 0.05）。
1.2 在模型验证中的核心价值
模型验证工程师使用A/B测试，主要解决以下四个关键问题：
- 因果推断： 隔离模型变更带来的真实效果，排除时间、季节、外部事件等混杂因素。
- 风险控制： 小流量实验允许在影响全量用户前发现模型退化或负面效应，降低上线风险。
- 量化收益： 用业务指标（如点击率、转化率、收入）直接衡量模型改进的商业价值。
- 迭代决策： 为模型版本迭代提供数据驱动的“通过/回滚”依据，避免主观判断。
1.3 与传统验证方法的对比
模型验证的传统方法包括离线指标评估（如AUC、RMSE）、回测（Backtesting）、影子测试（Shadow Testing）等。A/B测试与这些方法在验证维度上存在本质差异：
| 对比维度 | 离线指标评估 | 回测 | 影子测试 | A/B测试 |
|---|---|---|---|---|
| 数据来源 | 历史标注数据 | 历史时间序列 | 实时流量（不干预） | 实时流量（干预） |
| 因果能力 | 无（仅相关性） | 弱（时间混杂） | 弱（无对照组） | 强（随机对照） |
| 业务指标 | 间接（代理指标） | 间接 | 可观测但无对比 | 直接（业务KPI） |
| 风险暴露 | 无风险 | 无风险 | 低风险 | 可控风险（小流量） |
| 统计显著性 | 不适用 | 可计算（有偏） | 不适用 | 严格假设检验 |
| 实施成本 | 低 | 中 | 中 | 高（需流量与平台） |
实践建议： 在模型验证流程中，离线评估和回测应作为前置筛选，通过后再进入A/B测试。A/B测试是模型上线的最后一道验证关卡，而非替代离线验证。
1.4 A/B测试在模型验证中的典型流程
一个完整的模型验证A/B测试包含以下步骤：
- 假设定义： 明确新模型相比基线模型预期提升的业务指标（如CTR +5%）。
- 实验设计： 确定样本量、分流比例（如 50%/50%）、实验时长、显著性水平 α 和统计功效 1−β。
- 流量分配： 使用用户ID哈希或分层随机将流量均匀分入对照组（基线模型）和实验组（新模型）。
- 数据收集： 记录两组在实验期间的用户行为、业务指标、系统日志。
- 统计分析： 计算指标差异、p值、置信区间，判断是否拒绝原假设。
- 决策与部署： 若显著正向且无负向副作用，全量上线；否则回滚或重新迭代。
常见误区： 不要将A/B测试与“灰度发布”混为一谈。灰度发布是逐步放量，通常没有严格的随机对照和统计检验；A/B测试必须保证两组同时、同条件运行，且通过假设检验得出结论。