1. 分层试验概述
什么是分层试验
分层试验（Stratified Experimentation）是一种在多个维度或层级上同时运行多个试验的统计方法。它通过将流量或用户群体按照业务属性（如用户活跃度、设备类型、地域、渠道来源等）划分为若干互不重叠的“层”，在每个层内独立运行 A/B 测试或更复杂的多变量试验，从而在相同流量规模下获得更多可并行执行的试验结论。
分层试验的核心思想是：“分而治之，层内独立”。每一层可以看作一个独立的试验环境，层与层之间的试验互不干扰，但共享同一份流量池。
关键概念： 分层试验 ≠ 分层抽样。分层抽样是统计学中用于减少抽样误差的方法，而分层试验是产品增长中用于提升试验吞吐量和隔离试验干扰的工程化框架。
分层试验与 A/B 测试的区别
A/B 测试是单次试验的基本单元，而分层试验是管理多个 A/B 测试的架构方案。两者并非替代关系，而是不同层级的工具。
| 对比维度 | A/B 测试 | 分层试验 |
|---|---|---|
| 试验数量 | 单次运行 1 个试验 | 同时运行多个试验（通常 5~20 个） |
| 流量分配 | 全部流量按比例分给实验组和对照组 | 流量按层划分，每层独立分配 |
| 干扰风险 | 低（单一试验） | 中（需通过分层隔离降低干扰） |
| 统计假设 | 独立同分布，样本无重叠 | 层间独立，层内随机 |
| 适用阶段 | 单功能验证、小流量探索 | 规模化增长、多团队并行迭代 |
| 工程复杂度 | 低（单哈希分流） | 高（多层哈希 + 正交分配） |
实践建议： 团队日均试验数超过 3 个时，建议从单 A/B 测试迁移到分层试验体系，否则流量冲突和样本污染会显著降低试验结论的可靠性。
分层试验的核心价值
- 提升试验吞吐量： 同一份流量可以同时承载多个试验，大幅缩短产品迭代周期。
- 隔离试验干扰： 不同层的试验互不交叉，避免“试验 A 的改动污染试验 B 的指标”。
- 精细化分析： 可以在层内观察不同用户群体的异质性效应（如新用户 vs 老用户、iOS vs Android）。
- 降低流量成本： 无需为每个试验单独申请全量流量，小流量即可支撑大规模试验矩阵。
- 支持长期运行： 核心指标层（如留存、收入）可以持续运行，不影响其他层的短期试验。
适用场景
- 多团队并行迭代： 推荐算法团队、UI 团队、增长团队同时上线试验，互不阻塞。
- 核心指标监控： 将“日活跃用户数”或“付费转化率”作为长期层，持续追踪，不被短期试验打断。
- 用户异质性分析： 按用户生命周期、设备、地域分层，观察不同群体的效果差异。
- 大规模参数调优： 在推荐系统、广告排序等场景中，同时测试多个超参数组合。
- 合规与灰度发布： 按国家/地区分层，满足不同市场的法规要求，逐步放量。
避坑提醒： 分层试验并非万能。当层数过多（超过 20 层）或层内样本量过小时，统计功效会急剧下降。建议每层最小样本量不低于 10 万用户（视指标波动性而定）。