1. A/B测试的本质与适用边界：假设检验思想、需求验证场景、实验与非实验决策的权衡
产品团队每天都要回答“这个功能到底有没有用”。没有数据支撑的决策往往沦为“老板拍板”、“竞品做了所以我也做”或“直觉驱动”。A/B测试 正是将统计假设检验引入产品需求验证的关键方法——它让“有用”不再是一个形容词，而是一个可量化的、可重复验证的结论。
1.1 用户场景与业务问题
典型场景：某内容App计划将首页推荐算法从“编辑精选”改为“个性化排序”。产品经理面临核心问题——改动是否真正提升了用户点击率？能否在不影响现有用户满意度的前提下上线？
- 业务问题：如何科学判断新推荐算法对业务指标的效果，避免“上线后数据下滑再回滚”的试错成本。
- 需求拆解：将模糊的“优化推荐”拆解为可验证的假设——“新推荐算法使首页文章点击率相对提升5%以上”。
1.2 本质：统计假设检验在需求验证中的应用
A/B测试的本质是一个双样本假设检验。产品经理需要明确：
- 原假设 H₀：两组（A组/对照组 vs B组/实验组）的指标无差异。
- 备择假设 H₁：指标存在显著差异（通常是单向或双向）。
- 通过随机分流、收集数据、计算p值，判断是否拒绝H₀。
实践中，产品经理不必手动计算p值，但必须理解统计显著性、效应量和样本量三者的关系，才能正确设计实验并解读结果。
1.3 适用边界：何时该用A/B测试？
| 决策类型 | 适用场景 | 典型方法 | 优点 | 局限 |
|---|---|---|---|---|
| 实验决策 | 功能可随机分配、独立用户、长期效果可追踪 | A/B测试、多变量测试 | 因果推断最强，内部效度高 | 需要样本量、周期长、不适合破坏性改动 |
| 准实验决策 | 无法完全随机，但有自然对照组 | DID、断点回归、匹配 | 可处理部分不可随机场景 | 需要更多假设，解读复杂 |
| 非实验决策 | 功能不可拆分、样本极少、时间紧迫 | 用户访谈、案头研究、专家判断 | 快速、低成本 | 强依赖经验，风险高 |
关键判断：如果改动影响所有用户（如全局支付流程），或用户无法独立分组（如社交网络效应），A/B测试可能失效，需转向准实验或定性验证。
1.4 实验与非实验决策的权衡框架
产品经理可用决策矩阵快速判断：
两轴：① 改动可分割性（能否让部分用户用旧版、部分用新版）② 数据可获取性（能否在合理时间内收集足量样本）。
当两轴均为高 → 优先A/B测试；任一为中低 → 考虑准实验或混合方法。
实战提示：很多团队将“上线后灰度10%”当作A/B测试——这是错的。真正的A/B测试需要先验假设、预设样本量和固定时间窗口，灰度只是分流手段。
1.5 从假设到验收：完整实验设计要素
即使第一章只讲概念，也必须建立完整的实验设计视图，后续每章都会展开这些要素的具体操作。
避坑：许多产品经理只关注“指标是否显著”，忽略了护栏指标（如收入、留存、崩溃率）。一个导致核心指标上升但破坏长期体验的改动，即使p值 < 0.05，也不该上线。
1.6 本章小结与交付物
学完本章，产品经理应能：
- 用假设检验语言描述任何需求验证问题：“H₀ vs H₁”
- 判断当前场景是否适合A/B测试（实验 vs 非实验）
- 画出上图所示的完整实验设计要素关系图
验收标准（本章）：你能否用一张表格向团队解释“为什么这次改版我们不跑A/B测试，而用用户访谈”？