1. 课程导论:效果评估与人群切片组合风险的基本概念、课程目标与学习路径
1.1 什么是效果评估?
效果评估(Effectiveness Evaluation)是衡量一项策略、干预或产品在真实场景下是否达成预期目标的系统性过程。它不同于单纯的“结果统计”,而是关注因果归因——即观察到的变化是否确实由该策略引起,而非其他混杂因素。
核心公式: 效果 = 处理组实际表现 − 处理组在未处理情况下的反事实表现
在数字营销、政策干预、产品迭代等领域,效果评估通常依赖以下三类方法:
- 随机对照试验(RCT): 黄金标准,但成本高、外部效度受限。
- 准实验设计: 如双重差分(DID)、断点回归(RDD),适用于自然实验场景。
- 观察性研究: 使用倾向得分匹配(PSM)、工具变量(IV)等控制偏差。
1.2 人群切片组合风险
人群切片(Population Slicing)是将总体按特征维度(如年龄、地域、行为、设备)切分为多个子群。组合风险(Combination Risk)则指:当多个切片条件叠加时,由于样本稀疏、选择偏差或交互效应,导致评估结果不可靠、不可泛化甚至完全错误的风险。
| 风险类型 | 描述 | 典型场景 |
|---|---|---|
| 稀疏性风险 | 切片组合后样本量过小,统计功效不足 | “25-30岁男性 + 一线城市 + 夜间活跃”仅剩12人 |
| 选择偏差风险 | 切片条件与处理分配或结果存在内生关联 | 高活跃用户切片中,自然转化率已远高于低活跃组 |
| 交互效应风险 | 切片间的非加性效应导致整体结论失效 | A策略在“iOS用户”有效,在“安卓用户”无效,合并后平均效应为0 |
| 多重比较风险 | 大量切片组合下,假阳性率急剧膨胀 | 100个切片组合中,即使无真实效果,也预期约5个显著 |
常见误区: 许多从业者认为“切片越细,洞察越深”。实际上,过度切片会同时放大上述四种风险,使评估结果从“有偏”变为“完全不可用”。
1.3 课程目标
完成本课程后,你将能够:
- 识别 效果评估中人群切片组合的常见风险类型与成因。
- 量化 切片组合的样本量、统计功效与偏差幅度。
- 设计 稳健的切片策略,平衡粒度与可靠性。
- 应用 多重比较校正、分层分析、贝叶斯收缩等缓解技术。
- 构建 自动化风险预警看板,辅助决策。
1.4 学习路径与知识体系
本课程共30章,按“基础→方法→实战→进阶”四阶段组织:
1.5 课程预备知识
建议学习者具备以下基础:
- 基础统计学:均值、方差、假设检验、置信区间。
- 基本编程能力:Python 或 R,能运行数据框操作。
- 对因果推断的初步了解(非必需,课程会从零构建)。
提示: 如果你对上述预备知识感到陌生,建议先复习《统计学基础》或《Python数据分析入门》前两章,再开始本课程。
1.6 本章小结
本章建立了效果评估与人群切片组合风险的核心概念框架。你已了解:
- 效果评估的本质是反事实推断。
- 人群切片组合会引入稀疏性、选择偏差、交互效应、多重比较四类风险。
- 课程按“基础→方法→实战→进阶”四阶段递进,共30章。
- 学习路径图展示了各阶段的核心技术节点与风险预警点。