1. 课程导论:什么是AB测试组合风险人群切片
1.1 什么是组合风险人群切片
在AB测试中,组合风险人群切片(Composite Risk Segment)是指将多个用户维度的风险特征(如历史行为、设备属性、地域分布、活跃度等)进行交叉组合,形成具有高敏感度与高特异性的子人群,用于评估实验效果在不同风险层级下的异质性。
传统AB测试通常只关注整体指标(如整体转化率、整体留存率),但忽略了不同用户群体对实验变体的差异化响应。组合风险人群切片通过多维度交叉,精准定位“高风险”与“低风险”用户群,帮助数据科学家识别实验效果的局部放大效应或隐藏的负向影响。
核心定义:组合风险人群切片 = 风险特征A × 风险特征B × 风险特征C → 形成N个互斥且穷举的风险子人群。
1.2 为什么需要组合风险人群切片
在真实业务场景中,AB测试面临三大挑战:
- 辛普森悖论:整体指标无显著变化,但各子人群效果方向相反,导致错误决策。
- 统计功效稀释:极端用户(如高活跃用户)的噪声掩盖了真实效果。
- 风险暴露不均:实验变体可能对“低活跃+新设备”用户产生负向影响,但整体被正向用户淹没。
组合风险人群切片通过结构化分层,解决了上述问题:
| 挑战 | 传统AB测试 | 组合风险人群切片 |
|---|---|---|
| 辛普森悖论 | 只看整体均值 | 交叉子群独立检验 |
| 统计功效 | 全量用户统一计算 | 风险层内方差缩减 |
| 风险暴露 | 事后归因困难 | 事前定义风险边界 |
| 决策粒度 | 全量发布/全量回滚 | 分人群灰度发布 |
业务价值:组合风险人群切片可将实验决策的“误判率”降低30%~50%,尤其适用于金融、电商、内容推荐等高风险场景。
1.3 组合风险人群切片的核心流程
下图展示了从原始用户数据到风险切片输出的完整链路:
1.4 课程目标
完成本课程后,你将掌握以下核心能力:
- 理论层:理解组合风险人群切片的数学原理与统计基础(风险评分、交叉熵、分层检验)。
- 工程层:使用Python(pandas、scipy、statsmodels)实现自动化切片生成与AB测试结果计算。
- 业务层:设计符合业务场景的风险特征体系,避免常见陷阱(如数据泄露、多重比较校正)。
- 决策层:基于切片结果制定分人群灰度发布策略,降低实验风险。
重要提示:组合风险人群切片不是万能药。当切片数量过多(如超过20个)时,统计功效会急剧下降。本课程将教你如何平衡切片粒度与统计可靠性。
1.5 适用人群
本课程面向以下角色:
| 角色 | 前置知识 | 学习收益 |
|---|---|---|
| 数据科学家 | AB测试基础、Python编程 | 掌握高级分层分析方法 |
| 产品经理 | 实验设计基础 | 理解风险人群定义与决策逻辑 |
| 算法工程师 | 机器学习基础 | 将风险特征工程融入实验框架 |
| 数据分析师 | SQL、基础统计 | 独立完成风险切片AB测试报告 |
1.6 课程内容概览
本课程共30章,分为四大模块:
- 模块一(第1~5章):基础概念与数学原理——风险评分、交叉组合、多重比较校正。
- 模块二(第6~15章):工程实现——数据预处理、特征工程、切片生成、自动化流水线。
- 模块三(第16~25章):高级应用——时序风险切片、因果推断、多臂实验、贝叶斯方法。
- 模块四(第26~30章):实战案例与避坑指南——电商、金融、内容推荐三大场景完整代码与复盘。
学习建议:每章都配有可运行的Python代码片段和模拟数据集。建议在Jupyter Notebook中边学边练,效果最佳。