1. A/B测试基础概念

1.1 A/B测试的定义

A/B测试（又称分桶测试、对照实验）是一种通过对比两个或多个版本在真实用户环境下的表现，来量化评估功能变更效果的实验方法。其核心思想是：在保持其他条件一致的前提下，仅改变一个变量（特征），通过统计方法判断该变量是否对目标指标产生了显著影响。

1.2 核心原理

A/B测试的运作建立在三个支柱之上：

1. 随机化分配： 用户被随机分配到实验组（Treatment）和对照组（Control），确保两组在用户特征、行为习惯等维度上无系统性偏差。
2. 单一变量原则： 每次实验只改变一个特征（如按钮颜色、推荐算法参数），保证指标差异可归因于该特征。
3. 统计推断： 通过假设检验（如t检验、卡方检验）计算p值，判断观察到的差异是否由随机波动引起。

1.3 在特征迭代中的价值

1.4 局限性

A/B测试并非万能工具，在特征迭代实践中存在以下关键局限：

• 时间成本高： 需要积累足够的样本量才能达到统计功效，长周期特征（如用户留存）可能需要数周甚至数月。
• 仅能评估短期效果： 难以捕捉用户行为改变带来的长期影响或网络效应（如社交功能）。
• 不适用于全局性变更： 当变更影响所有用户（如平台定价策略）或存在强烈交互效应时，无法构建干净的对照组。
• 样本量门槛： 低流量产品难以达到最小可检测效应所需的样本量，导致实验无法得出有效结论。
• 实施复杂度： 需要完善的实验平台、分流系统、数据埋点和统计计算基础设施。

1.5 特征回放对比与经典A/B测试的关系

在特征迭代中，经典A/B测试要求“同时在线对比”，但许多场景（如离线算法优化、历史数据回放）无法满足这一条件。特征回放对比（Feature Replay Comparison）作为A/B测试的补充方法，通过将新特征应用于历史日志数据，模拟“如果当时使用了新特征会怎样”，从而在离线环境中快速评估特征效果。本课程后续章节将深入探讨这一方法的设计原理与工程实践。