4. A/B 测试常见陷阱：多重比较问题、辛普森悖论、新奇效应、选择偏差、数据窥探
A/B 测试是数据驱动决策的核心工具，但若忽视其内在的统计陷阱，极易得出错误结论。本章系统梳理五大常见陷阱，帮助你在实验设计与分析阶段提前规避风险。
核心原则： A/B 测试的结论可靠性不仅取决于样本量，更取决于实验设计是否规避了系统性偏差。以下五大陷阱是数据科学面试与实战中的高频考点。
4.1 多重比较问题
当同时检验多个假设（如比较多个指标、多个变体或多次查看结果）时，犯第一类错误（假阳性）的概率会显著增加。
- 问题本质： 单次检验显著性水平 α=0.05，但检验 n 次后，至少一次假阳性的概率为 1 - (1-α)^n。检验 20 次时，该概率高达 64%.
- 常见场景： 同时观察 10 个核心指标、一个实验包含 5 个以上变体、每日“偷看”实验结果并提前停止。
| 校正方法 | 原理 | 适用场景 | 保守程度 |
|---|---|---|---|
| Bonferroni 校正 | 将 α 除以检验次数 n | 检验次数少（n < 10） | 非常保守 |
| Holm 校正 | 逐步递降，比 Bonferroni 更灵活 | 中等检验次数 | 中等 |
| Benjamini-Hochberg (FDR) | 控制错误发现率（FDR） | 大量检验（如基因表达、特征筛选） | 较宽松 |
实战警示： 不要等到分析阶段才做多重比较校正。应在实验设计阶段就明确主要指标（Primary Metric）和次要指标（Secondary Metric），并预先指定校正方法。
4.2 辛普森悖论
当数据中存在隐藏的混杂变量（如时间、用户群体、设备类型）时，整体趋势与分组趋势可能完全相反。
- 经典案例： 治疗 A 在男性和女性患者中均优于治疗 B，但合并数据后治疗 B 反而整体更优——因为女性患者（治疗 B 效果好）在治疗 B 组占比更高。
- 检测方法： 分层分析（Stratified Analysis），按关键维度（如地区、用户等级）拆分后重新计算效应。
数据清洗要点： 在 A/B 分流前，务必记录分流层（Stratum）信息。如果发现整体与分层结果不一致，优先信任分层结果，并检查分流是否均匀。
4.3 新奇效应
用户对新功能或新界面的短期好奇心导致实验初期效果被高估，随着时间推移效应逐渐衰减甚至消失。
- 典型表现： 实验组在首周点击率飙升 20%，但第 3 周后回落至与对照组无显著差异。
- 应对策略：
- 延长实验周期： 至少覆盖一个完整的用户行为周期（通常 1-2 周）。
- 分时段分析： 按周或按天绘制效应量趋势图，观察是否衰减。
- 回访用户分析： 仅分析实验开始前已存在的“老用户”，排除新用户的好奇心干扰。
数据清洗技巧： 在清洗日志时，为每个用户标记“首次曝光时间”。分析时剔除曝光后前 24 小时的数据，或单独分析“成熟期”（曝光 7 天后）的用户行为，可有效降低新奇效应影响。
4.4 选择偏差
实验组和对照组在实验开始前就存在系统性差异，导致观察到的效果并非由干预引起，而是由分组不均造成。
| 偏差类型 | 描述 | 数据清洗对策 |
|---|---|---|
| 自选择偏差 | 用户自行选择进入实验组（如主动点击“新功能体验”按钮） | 强制随机分流，禁止用户自选 |
| 存活偏差 | 只分析“存活”用户，忽略流失用户 | 使用 Intention-to-Treat (ITT) 分析，保留所有随机分配的用户 |
| 时间偏差 | 实验组和对照组在不同时间段上线 | 确保两组同时上线，或使用同期对照 |
| 网络效应偏差 | 同一社交网络内的用户互相影响，破坏独立性 | 使用网络聚类随机化（Cluster Randomization） |
分流数据清洗检查清单：
- 检查分流日志中 user_id 是否唯一且不重复出现在两组。
- 检查两组在实验前 7 天的关键指标（如活跃度、历史转化率）是否统计等价。
- 检查分流时间戳是否连续，是否存在“先分流后干预”的时序错误。
4.5 数据窥探
在实验进行过程中反复查看结果，并根据阶段性 p 值决定是否提前停止实验，会严重膨胀假阳性率。
- 为什么危险： 每次“偷看”都相当于一次假设检验。如果每天查看一次，一周后假阳性率可能从 5% 膨胀到 30% 以上。
- 正确做法：
- 实验开始前固定样本量和实验时长，期间不查看结果。
- 若必须中途监控（如监测负向指标），使用序贯分析（Sequential Analysis）或 alpha spending function。
- 使用“固定时间窗口”而非“固定样本量”作为停止规则。
4.6 陷阱对比与数据清洗要点
| 陷阱 | 核心风险 | 数据清洗阶段关注点 | 分析阶段应对 |
|---|---|---|---|
| 多重比较 | 假阳性膨胀 | 确认主要指标是否预先注册 | Bonferroni / FDR 校正 |
| 辛普森悖论 | 整体结论误导 | 检查分流层变量是否完整记录 | 分层分析 + 标准化 |
| 新奇效应 | 短期效果高估 | 标记用户首次曝光时间 | 分时段分析 + 成熟期子集 |
| 选择偏差 | 分组不均 | 验证随机性 + 历史指标均衡性 | ITT 分析 + 逆概率加权 |
| 数据窥探 | 停止规则失效 | 检查实验日志是否有提前停止记录 | 序贯分析 / alpha spending |
数据清洗流水线建议： 在 A/B 测试数据进入分析管道前，增加一个“实验健康检查”步骤，自动检测分流均匀性、时间连续性、用户重叠性，并生成报告。这能在大规模并行实验中系统性拦截上述陷阱。