第二章 灰度方案的前置条件评估

适用场景

本章评估清单适用于以下场景，在启动灰度发布或A/B实验前必须逐项对照，避免因基础设施或数据准备不足导致实验结论无效、线上故障或分桶偏差：

• 新功能灰度上线（0%→1%→5%→...→100%）
• 算法模型线上对比实验（CTR/CVR预估、推荐策略）
• 用户界面/交互流程改版（UI组件、表单、支付流程）
• 定价策略、权益、积分规则等商业策略验证

前置条件

进行灰度方案设计前，产品/运营/数据团队需确认以下四项能力已就位：

1. 流量规模与分桶能力：日均活跃用户数（DAU）是否满足最小样本量要求；后端分桶服务（hash一致性、salt轮换、独立分桶层）是否具备。
2. 基础设施要求：实验平台或灰度开关（Feature Flag）系统是否支持多维度、多层嵌套实验；日志采集、实时/离线归因管道是否稳定。
3. 用户标签数据可用性：用于分层的标签（新老客、活跃等级、设备/地区）是否在数据仓库中清洗完成且可实时拉取。
4. 风险容忍度评估：业务方对负面指标（如收入下降、报错率升高）的容忍阈值、回滚速度、熔断机制是否已书面确认。

操作步骤

1. 估算最小样本量：根据预期效果提升（如点击率+2%）、统计功效（80%）、显著性水平（5%），使用公式计算所需用户数。
2. 检查分桶一致性：确认分桶哈希算法（如MurmurHash3+一致性哈希）在客户端/服务端均稳定，不因用户ID变动导致跨桶污染。
3. 验证标签覆盖率：对核心分层标签（如“最近30天首购用户”）做覆盖率统计，要求≥95%且空值处理逻辑明确。
4. 签署风险容忍清单：组织评审会，逐项填写“灰度方案风险登记表”，确认核心指标（核心KPI）与护栏指标（guardrail）及对应阈值。
5. 记录预处理结果：将以上检查结果写入“灰度前置评估检查单”（见输出物表格），由数据工程师、业务负责人、实验平台管理员三方签字。

输入输出物

责任边界

• 数据工程师：提供标签覆盖率、样本量计算脚本；确保分桶日志完整可回溯。
• 产品经理/运营：提出灰度范围与风险阈值；组织评审并签署容忍清单。
• 实验平台管理员：维护分桶服务、Feature Flag开关；提供一致性校验工具。
• 测试/QA：验证分桶隔离性，确保实验组、对照组用户不出现方案互串。

记录材料

以下记录材料必须在灰度启动前归档至项目共享文档中：

1. 灰度前置评估检查单（含所有输入输出物的核对状态）
2. 风险容忍度评估清单（含指标名称、基线值、容忍上限、回滚条件）
3. 分桶一致性校验报告（包含不同salt下桶ID分布均匀性测试结果）
4. 标签覆盖率明细表（每个分层标签的覆盖用户数、空值率）

异常处理

验收标准

1. 最小样本量计算报告已经过统计学家或数据科学组二次复核。
2. 分桶一致性测试结果输出“通过”，桶间用户关键指标（如登录率、付费转化）无显著差异（p>0.1）。
3. 所有分层标签覆盖率≥95%，空值属性已按照“归入对照组”逻辑默认处理。
4. 风险容忍度评估清单已完成逐条评审并附带所有相关方电子签名。
5. 以上所有记录材料已上传至项目文档库，权限设置为“团队成员可查阅”。

本章核心流程：灰度前置条件评估决策树

扩展阅读：样本量估算参考公式

当预期转化率提升为Δ，基线转化率为π₀时，单侧检验所需样本量计算公式（近似）：

n = ( (Z_α + Z_β)² * (π₀*(1-π₀) + π₁*(1-π₁)) ) / (π₁ - π₀)²
其中 π₁ = π₀*(1+Δ)，Z_α=1.645（α=0.05单侧），Z_β=0.842（β=0.2）