1. 课程导论:什么是AB测试组合风险人群切片

1.1 什么是组合风险人群切片

在AB测试中,组合风险人群切片(Composite Risk Segment)是指将多个用户维度的风险特征(如历史行为、设备属性、地域分布、活跃度等)进行交叉组合,形成具有高敏感度与高特异性的子人群,用于评估实验效果在不同风险层级下的异质性。

传统AB测试通常只关注整体指标(如整体转化率、整体留存率),但忽略了不同用户群体对实验变体的差异化响应。组合风险人群切片通过多维度交叉,精准定位“高风险”与“低风险”用户群,帮助数据科学家识别实验效果的局部放大效应或隐藏的负向影响。

核心定义:组合风险人群切片 = 风险特征A × 风险特征B × 风险特征C → 形成N个互斥且穷举的风险子人群。

1.2 为什么需要组合风险人群切片

在真实业务场景中,AB测试面临三大挑战:

  • 辛普森悖论:整体指标无显著变化,但各子人群效果方向相反,导致错误决策。
  • 统计功效稀释:极端用户(如高活跃用户)的噪声掩盖了真实效果。
  • 风险暴露不均:实验变体可能对“低活跃+新设备”用户产生负向影响,但整体被正向用户淹没。

组合风险人群切片通过结构化分层,解决了上述问题:

挑战 传统AB测试 组合风险人群切片
辛普森悖论 只看整体均值 交叉子群独立检验
统计功效 全量用户统一计算 风险层内方差缩减
风险暴露 事后归因困难 事前定义风险边界
决策粒度 全量发布/全量回滚 分人群灰度发布
业务价值:组合风险人群切片可将实验决策的“误判率”降低30%~50%,尤其适用于金融、电商、内容推荐等高风险场景。

1.3 组合风险人群切片的核心流程

下图展示了从原始用户数据到风险切片输出的完整链路:

组合风险人群切片核心流程 原始用户数据 风险特征提取 特征交叉组合 风险评分计算 切片阈值划分 AB测试分层 输出:N个风险切片 每个风险切片对应一组用户,具有相似的风险特征组合,用于独立评估实验效果

1.4 课程目标

完成本课程后,你将掌握以下核心能力:

  1. 理论层:理解组合风险人群切片的数学原理与统计基础(风险评分、交叉熵、分层检验)。
  2. 工程层:使用Python(pandas、scipy、statsmodels)实现自动化切片生成与AB测试结果计算。
  3. 业务层:设计符合业务场景的风险特征体系,避免常见陷阱(如数据泄露、多重比较校正)。
  4. 决策层:基于切片结果制定分人群灰度发布策略,降低实验风险。
重要提示:组合风险人群切片不是万能药。当切片数量过多(如超过20个)时,统计功效会急剧下降。本课程将教你如何平衡切片粒度与统计可靠性。

1.5 适用人群

本课程面向以下角色:

角色 前置知识 学习收益
数据科学家 AB测试基础、Python编程 掌握高级分层分析方法
产品经理 实验设计基础 理解风险人群定义与决策逻辑
算法工程师 机器学习基础 将风险特征工程融入实验框架
数据分析师 SQL、基础统计 独立完成风险切片AB测试报告

1.6 课程内容概览

本课程共30章,分为四大模块:

  • 模块一(第1~5章):基础概念与数学原理——风险评分、交叉组合、多重比较校正。
  • 模块二(第6~15章):工程实现——数据预处理、特征工程、切片生成、自动化流水线。
  • 模块三(第16~25章):高级应用——时序风险切片、因果推断、多臂实验、贝叶斯方法。
  • 模块四(第26~30章):实战案例与避坑指南——电商、金融、内容推荐三大场景完整代码与复盘。
学习建议:每章都配有可运行的Python代码片段和模拟数据集。建议在Jupyter Notebook中边学边练,效果最佳。