4. 组合风险概述
在效果评估中，当我们对人群进行切片组合分析时，评估结果往往面临多种系统性风险的叠加。这些风险并非孤立存在，而是相互交织，共同影响评估结论的准确性与可解释性。本章将系统阐述组合风险的定义、三大核心来源及其对评估结果的具体影响。
4.1 组合风险的定义
组合风险是指在效果评估过程中，由于对人群进行多维切片（如地域×渠道×时段）并执行多次比较分析时，因样本结构、统计方法或数据聚合方式不当，导致评估结论偏离真实效果的系统性偏差累积。其本质是切片维度交互与统计推断误差的耦合产物。
核心公式（示意）：
其中，任意一项风险因子升高，均会放大整体评估的不确定性。
组合风险 = f(样本偏差, 多重比较次数, 聚合层级冲突)其中，任意一项风险因子升高，均会放大整体评估的不确定性。
4.2 组合风险的三大来源
组合风险主要来源于以下三个相互关联的统计与数据问题：
| 风险来源 | 定义 | 典型场景 | 对评估的影响 |
|---|---|---|---|
| 样本偏差 | 切片后各子人群的样本分布与总体分布不一致，导致选择偏倚 | 高活跃用户切片 vs 全体用户；特定渠道引流人群 vs 自然流量人群 | 评估结果无法泛化至目标总体，产生虚假提升或低估 |
| 多重比较 | 对多个切片组合同时进行假设检验，累积第一类错误概率 | 10个地域×5个渠道=50个组合，每个组合做显著性检验 | 假阳性率膨胀，误将随机波动识别为显著效果 |
| 辛普森悖论 | 数据聚合层级不同时，整体趋势与各子组趋势相反 | 整体转化率下降，但每个子人群转化率均上升 | 误导决策方向，掩盖真实的人群异质性 |
实践提示： 在人群切片组合评估中，上述三种风险往往同时出现。例如，对“新用户×一线城市×周末”切片做显著性检验时，既面临样本量不足导致的偏差，又因多次比较而放大假阳性，同时可能因聚合方式不同而遭遇辛普森悖论。
4.3 组合风险对评估结果的影响
组合风险会从以下四个维度扭曲评估结论：
- 效果高估：多重比较导致假阳性，将随机波动误判为有效策略。
- 效果低估：样本偏差使高价值人群被排除，真实效果被稀释。
- 方向反转：辛普森悖论使整体结论与子组结论完全相反。
- 可复现性差：组合风险未被控制时，同一实验在不同切片下结论不稳定。
4.4 组合风险来源关系图
下图展示了三大风险来源之间的内在关联及其对评估结果的传导路径：
4.5 组合风险的量化评估框架
为系统评估组合风险，建议采用以下三维度量化框架：
| 评估维度 | 量化指标 | 风险阈值参考 | 控制策略 |
|---|---|---|---|
| 样本偏差度 | 切片样本占比 vs 总体占比的差异（标准化均差） | 标准化均差 > 0.25 为高风险 | 倾向性评分加权、分层抽样 |
| 多重比较压力 | 有效比较次数 / 独立比较次数 | 比较次数 > 20 需校正 | Bonferroni、FDR、Holm校正 |
| 聚合一致性 | 整体效应方向与子组效应方向的一致性比率 | 方向不一致率 > 10% 需排查 | 分层分析、交互效应检验 |
⚠️ 常见误区： 许多评估者仅关注单一风险来源（如仅做多重比较校正），而忽略样本偏差与辛普森悖论的叠加效应。完整的组合风险评估必须同时考察上述三个维度，并采用综合校正策略。
4.6 组合风险控制流程
下图展示了在人群切片组合评估中控制组合风险的标准流程：
4.7 本章小结
- 组合风险是人群切片组合评估中样本偏差、多重比较与辛普森悖论共同作用的结果。
- 三种风险来源相互关联，需同步评估而非孤立处理。
- 采用三维度量化框架（样本偏差度、多重比较压力、聚合一致性）可系统识别风险等级。
- 标准控制流程强调迭代验证，确保最终评估结论的稳健性与可复现性。