VIP20
本课程属于：059-保险精算模型规则命中复盘 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Champion Challenger模型A B测试实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Champion Challenge… · 核心价值 · 适用场景与课程整体框架
课程导论Champion
02
统计学基础回顾
总体与样本 · 假设检验（原假设与备择假设） · 第一类与第二类错误
统计学基础回顾总体
03
实验设计原则
随机化 · 对照 · 重复
实验设计原则随机化
04
Champion Challenger模型概述
Champion（冠军模型）与Cha… · 模型迭代的生命周期 · 与传统A/B测试的异同
ChampionChallenger
05
业务目标与指标定义
如何将业务问题转化为可衡量的核心指标… · OEC（总体评估标准）的设定 · 代理指标与最终指标的选择
业务目标指标定义
06
假设构建与实验规划
明确实验假设（H0与H1） · 确定实验变量（单一变量/多变量） · 制定实验计划书模板
假设构建实验规划
07
样本量计算与统计功效
使用Python（statsmode… · 功效分析（Power Analysi…
样本量计算统计功效
08
实验分组与分流机制
用户ID哈希分流 · 分层抽样 · 桶测试（Bucket Test）
实验分组分流机制
09
数据收集与埋点设计
前端/后端埋点方案 · 事件追踪 · 数据管道搭建
数据收集埋点设计
10
数据预处理与清洗
缺失值处理 · 异常值检测与处理 · 数据标准化
数据预处理清洗
11
探索性数据分析（EDA）
描述性统计 · 分布可视化（直方图 · 箱线图）
EDA探索性数据分析
12
假设检验方法（一）
Z检验与t检验（单样本 · 双样本 · 配对检验）
假设检验方法Z检验
13
假设检验方法（二）
卡方检验（分类变量） · Fisher精确检验 · Mann-Whitney U检验（非…
假设检验方法卡方检验
14
多重比较问题
Bonferroni校正 · Holm-Bonferroni方法 · FDR（False Discover…
多重比较问题Bonferroni
15
效应量（Effect Size）与置信区间
Cohen's d · 相对提升（Relative Lift… · 置信区间的计算与业务解读
EffectSize
16
结果解读与决策框架
统计显著性 vs 实际显著性 · P值陷阱 · 决策树（显著且正向/显著且负向/不显…
结果解读决策框架
17
Champion Challenger模型评估
模型性能指标（准确率 · AUC · Lift等）
ChampionChallenger
18
A/B测试平台搭建
实验管理后台设计 · 实验配置中心 · 实时监控看板
A/B测试平台搭建
19
Python实战（一）
模拟生成A/B测试数据（使用nump… · 计算样本量 · 执行t检验与卡方检验
PythonA/B
20
Python实战（二）
实现多重比较校正 · 计算效应量与置信区间 · 绘制统计功效曲线
Python实现多重比较校正
21
Python实战（三）
构建Champion Challen… · 输出对比报告
PythonChampion
22
案例研究（一）
电商网站推荐算法改版——从Champ…
案例研究Champ
23
案例研究（二）
金融风控模型迭代——Challeng…
案例研究Challeng
24
案例研究（三）
广告点击率（CTR）预估模型——在线…
案例研究CTR
25
常见陷阱与误区
辛普森悖论 · 数据窥探（Data Snooping… · 早停（Early Stopping）…
常见陷阱误区
26
实验长期效应与网络效应
用户学习效应 · 网络外部性对实验的影响 · 交叉实验（Interleaving…
实验长期效应网络效应
27
多臂老虎机（MAB）与动态分配
Epsilon-Greedy · Thompson Sampling · UCB算法
MAB多臂老虎机
28
实验报告撰写与沟通
如何向非技术人员解释实验结果 · 报告模板（摘要 · 方法
实验报告撰写沟通
29
实验文化建立与组织落地
实验驱动决策的团队协作流程 · 实验治理 · 实验平台运营
实验文化建立组织落地
30
课程总结与未来展望
Champion Challenge… · 方差缩减 · 贝叶斯A/B测试）
课程总结未来展望