4. 组合风险的概念：为什么需要组合多个风险维度，单一维度的局限性

在AB测试实践中，仅依赖单一风险维度（如仅看统计显著性、或仅看样本量）进行人群切片，往往会导致严重的决策偏差。组合风险的核心思想是：将多个相互独立或弱相关的风险维度（如统计功效不足、基线转化率波动、样本量稀疏、效应量不稳定等）进行联合评估，从而更全面地识别实验中的高风险人群切片。

4.1 单一风险维度的局限性

下表对比了仅使用单一风险维度与组合风险维度的核心差异：

4.2 为什么需要组合多个风险维度

组合风险维度解决了以下三个核心问题：

1. 降低误判率（False Discovery Rate）：单一维度容易将随机波动误判为真实效应。组合多个维度后，只有同时满足多个风险条件的切片才会被标记为高风险，从而大幅降低假阳性。
2. 识别复合风险模式：某些切片在单一维度上表现正常（如样本量充足、p值显著），但组合后可能暴露出“效应量不稳定+基线波动大”的复合风险。这种模式在单一维度下完全不可见。
3. 提升决策鲁棒性：组合风险维度相当于为每个切片构建了一个“风险指纹”。当多个维度指向同一结论时，决策者可以更有信心地采取行动（如暂停实验、扩大样本或排除切片）。

4.3 组合风险维度的典型架构

下图展示了从单一维度评估到组合风险评估的演进逻辑：

4.4 组合风险维度的数学表达

组合风险评分可以形式化为一个加权融合函数。假设我们有 k 个风险维度，每个维度在切片 i 上的风险得分为 r_ij，则组合风险评分 R_i 为：

R_i = Σ (w_j × r_ij)   for j = 1 to k

其中：
- w_j 为第 j 个维度的权重（∑ w_j = 1）
- r_ij 为切片 i 在第 j 个维度上的归一化风险得分（0~1）
- R_i 取值范围 [0, 1]，越接近 1 表示风险越高

4.5 组合风险维度的典型应用场景

• 场景一：新用户 vs 老用户切片 — 新用户切片样本量小、基线波动大，单一维度可能误判为“无显著差异”；组合风险维度可识别出“低功效+高波动”的复合风险，建议延长实验周期。
• 场景二：高价值用户切片 — 高价值用户切片效应量可能很大，但样本量极稀疏；组合风险维度可标记为“效应显著但置信区间过宽”，提示谨慎推广。
• 场景三：多地域聚合切片 — 单一地域切片可能p值不显著，但多个地域聚合后效应方向一致；组合风险维度通过“效应方向一致性”指标，识别出潜在的全局效应。

4.6 组合风险维度的实施步骤

1. 维度选择：从业务逻辑和统计理论出发，选择 3~6 个互补的风险维度（如样本量、效应量、基线转化率、置信区间宽度、统计功效）。
2. 归一化处理：将每个维度的原始值映射到 [0, 1] 区间，消除量纲差异。常用方法包括 Min-Max 归一化或分位数归一化。
3. 权重分配：通过专家打分或数据驱动方法确定各维度权重，确保权重总和为 1。
4. 风险评分计算：对每个切片计算加权组合风险评分 R_i。
5. 阈值划分：根据业务容忍度设定低/中/高风险阈值（如 R_i < 0.3 为低风险，0.3~0.7 为中风险，> 0.7 为高风险）。
6. 结果验证：在历史实验数据上回测组合风险评分的预测能力，确保高风险切片确实更容易出现实验失败或决策反复。