一、AB测试概述：从一次失败的改版说起
先讲个我自己的故事。几年前我负责一个电商平台的推荐模块，产品经理拍脑袋说「把按钮从蓝色改成红色，肯定能提升点击率」。我当时刚入行，觉得有道理，直接全量上线了。结果呢？转化率掉了 12%，花了两周才回滚干净。
那次之后我学乖了——没有AB测试，你根本分不清是改版有效，还是运气好。说白了，AB测试就是让你用数据做决策，而不是靠直觉赌一把。
什么是AB测试
AB测试，也叫分桶测试。你把用户随机分成两组：
- A组（对照组）：看到现有版本
- B组（实验组）：看到新版本
然后比较两组在核心指标上的差异。如果B组显著优于A组，你就有了上线的底气。
核心公式：AB测试 = 随机分组 + 单一变量 + 统计检验
缺一个，结果就可能骗人。
举个例子。你想测「新注册流程」是否更好。把用户随机分到新旧两个流程，观察注册完成率。如果新流程的完成率高了 5%，且统计显著，那就说明改对了。
AB测试的价值
我这些年做过的AB测试少说也有上百个，它的价值我总结成三点：
- 因果推断——相关性不等于因果性，AB测试能告诉你「改了A，确实导致了B变化」。
- 降低风险——小流量验证，避免全量上线翻车。我那个红色按钮的教训，就是没做AB测试的代价。
- 数据驱动文化——团队里「我觉得」的声音会越来越少，「数据证明」会越来越多。
我的习惯：每次上线前，哪怕只是改个文案，我都会跑一次AB测试。不是为了证明什么，而是为了让自己睡个安稳觉。
AB测试的局限
但AB测试不是万能的。我踩过的坑，列出来给你看看：
| 局限 | 说明 | 我遇到的案例 |
|---|---|---|
| 样本量要求高 | 小流量下很难检测出微小差异 | 某次改版预期提升0.5%，跑了三周都不显著 |
| 只能测短期效果 | 无法评估长期用户习惯变化 | 新功能短期点击率涨了，一个月后用户流失了 |
| 网络效应干扰 | 社交类产品，两组用户会互相影响 | 好友在不同组，体验不一致导致投诉 |
| 多重比较问题 | 同时测太多指标，容易出假阳性 | 一次测了20个指标，3个显著，全是巧合 |
我曾经犯过的错：在样本量不够的时候提前停止实验，看到「显著」就上线。结果回滚了三次。记住——不要偷看结果，不要提前停止。
AB测试 vs 多臂老虎机
说到这，你可能会问：那多臂老虎机（Multi-Armed Bandit, MAB）是不是比AB测试更好？
嗯，这个问题我当年也纠结过。直接上对比：
| 维度 | AB测试 | 多臂老虎机 |
|---|---|---|
| 目标 | 统计推断（哪个更好） | 收益最大化（边学边赚） |
| 流量分配 | 固定比例（如50/50） | 动态调整（好的版本多分流量） |
| 探索与利用 | 先探索，后利用 | 同时进行 |
| 适用场景 | 验证假设、长期决策 | 实时优化、短期收益 |
| 统计严谨性 | 高（有p值、置信区间） | 低（更偏向工程实用） |
说白了：你想知道「哪个版本更好」，用AB测试；你想「在不确定中尽快赚钱」，用多臂老虎机。
我个人习惯是：先用AB测试做决策，上线后用多臂老虎机做持续调优。两者不是替代关系，而是互补。
本章知识体系
下面这张图，帮你把本章的核心逻辑串起来：
什么时候该用AB测试？
给你一个简单的判断标准：
- 有明确的假设——「我认为新算法能提升点击率5%以上」
- 样本量够用——日均流量能在一周内达到统计所需样本
- 能随机分组——用户之间相对独立，没有强网络效应
- 愿意等结果——不急着今天就要结论
满足这些条件，AB测试就是你的最佳选择。
一个小技巧：如果你不确定样本量够不够，可以用这个公式估算——
n = (Zα/2 + Zβ)² × (σ₁² + σ₂²) / δ²其中δ是你期望检测的最小差异。我一般取δ=0.05（5%的相对提升），Zα/2=1.96（95%置信度），Zβ=0.84（80%统计功效）。
本章小结
AB测试不是什么高深的东西，它就是一套用数据说话的方法论。你不需要成为统计学家，但需要理解它的核心逻辑：随机、对照、重复。
记住我那个红色按钮的教训——别让你的直觉替用户做决定。数据会告诉你真相，前提是你愿意听。