1. 课程导论:效果评估与人群切片组合风险的基本概念、课程目标与学习路径

1.1 什么是效果评估?

效果评估(Effectiveness Evaluation)是衡量一项策略、干预或产品在真实场景下是否达成预期目标的系统性过程。它不同于单纯的“结果统计”,而是关注因果归因——即观察到的变化是否确实由该策略引起,而非其他混杂因素。

核心公式: 效果 = 处理组实际表现 − 处理组在未处理情况下的反事实表现

在数字营销、政策干预、产品迭代等领域,效果评估通常依赖以下三类方法:

  • 随机对照试验(RCT): 黄金标准,但成本高、外部效度受限。
  • 准实验设计: 如双重差分(DID)、断点回归(RDD),适用于自然实验场景。
  • 观察性研究: 使用倾向得分匹配(PSM)、工具变量(IV)等控制偏差。

1.2 人群切片组合风险

人群切片(Population Slicing)是将总体按特征维度(如年龄、地域、行为、设备)切分为多个子群。组合风险(Combination Risk)则指:当多个切片条件叠加时,由于样本稀疏、选择偏差或交互效应,导致评估结果不可靠、不可泛化甚至完全错误的风险。

风险类型 描述 典型场景
稀疏性风险 切片组合后样本量过小,统计功效不足 “25-30岁男性 + 一线城市 + 夜间活跃”仅剩12人
选择偏差风险 切片条件与处理分配或结果存在内生关联 高活跃用户切片中,自然转化率已远高于低活跃组
交互效应风险 切片间的非加性效应导致整体结论失效 A策略在“iOS用户”有效,在“安卓用户”无效,合并后平均效应为0
多重比较风险 大量切片组合下,假阳性率急剧膨胀 100个切片组合中,即使无真实效果,也预期约5个显著
常见误区: 许多从业者认为“切片越细,洞察越深”。实际上,过度切片会同时放大上述四种风险,使评估结果从“有偏”变为“完全不可用”。

1.3 课程目标

完成本课程后,你将能够:

  1. 识别 效果评估中人群切片组合的常见风险类型与成因。
  2. 量化 切片组合的样本量、统计功效与偏差幅度。
  3. 设计 稳健的切片策略,平衡粒度与可靠性。
  4. 应用 多重比较校正、分层分析、贝叶斯收缩等缓解技术。
  5. 构建 自动化风险预警看板,辅助决策。

1.4 学习路径与知识体系

本课程共30章,按“基础→方法→实战→进阶”四阶段组织:

课程学习路径与知识体系 阶段一:基础 第1-5章 概念·偏差·因果 阶段二:方法 第6-14章 匹配·分层·校正 阶段三:实战 第15-24章 案例·看板·预警 阶段四:进阶 第25-30章 贝叶斯·ML·前沿 反事实框架 倾向得分 多重比较 贝叶斯收缩 学习建议 每章包含理论讲解 + 代码实战 + 风险案例;建议按顺序学习,阶段间可跳跃复习 稀疏性风险 样本量 < 30 选择偏差风险 内生性切片

1.5 课程预备知识

建议学习者具备以下基础:

  • 基础统计学:均值、方差、假设检验、置信区间。
  • 基本编程能力:Python 或 R,能运行数据框操作。
  • 对因果推断的初步了解(非必需,课程会从零构建)。
提示: 如果你对上述预备知识感到陌生,建议先复习《统计学基础》或《Python数据分析入门》前两章,再开始本课程。

1.6 本章小结

本章建立了效果评估与人群切片组合风险的核心概念框架。你已了解:

  • 效果评估的本质是反事实推断。
  • 人群切片组合会引入稀疏性、选择偏差、交互效应、多重比较四类风险。
  • 课程按“基础→方法→实战→进阶”四阶段递进,共30章。
  • 学习路径图展示了各阶段的核心技术节点与风险预警点。