VIP20
本课程属于：051-贷后预警实验评估 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Champion Challenger实验设计指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Champion Challenger实验概述
定义 · 核心思想 · 在数据驱动决策中的价值
ChampionChallenger
02
实验设计基础
假设检验 · 零假设与备择假设 · 显著性水平
实验设计基础假设检验
03
Champion Challenger vs A/B测试
区别与联系 · 适用场景对比
ChampionChallenger
04
实验目标设定
业务目标 · 关键指标(KPI) · 成功标准定义
实验目标设定业务目标
05
Champion模型定义
基线模型选择 · 历史表现评估 · 作为对照组的必要性
Champion模型定义
06
Challenger模型设计
候选模型来源 · 特征工程策略 · 超参数候选集
Challenger模型设计
07
实验周期规划
时间窗口选择 · 样本量估算 · 最小可检测效应(MDE)
实验周期规划时间窗口选择
08
随机化与分流
用户/样本随机分配 · 分流比例设计 · 避免数据泄露
随机化分流
09
实验指标体系
核心指标 · 辅助指标 · 护栏指标
实验指标体系核心指标
10
统计检验方法
t检验 · 卡方检验 · Mann-Whitney U检验
统计检验方法t检验
11
多重比较问题
Bonferroni校正 · FDR控制 · Holm-Bonferroni方法
多重比较问题Bonferroni
12
实验运行流程
启动 · 监控 · 数据收集
实验运行流程启动
13
数据质量保障
数据完整性检查 · 异常值处理 · 样本偏差识别
数据质量保障数据完整性检查
14
实验分析框架
描述性统计 · 置信区间 · 效应量计算
实验分析框架描述性统计
15
结果可视化
指标对比图 · 置信区间图 · 累积效果图
结果可视化指标对比图
16
决策规则制定
统计显著性 · 实际显著性 · 业务可接受阈值
决策规则制定统计显著性
17
Champion Challenger切换策略
渐进式上线 · 回滚机制 · 灰度发布
ChampionChallenger
18
多Challenger实验
同时测试多个候选 · 排序与选择 · 资源分配
Challenger实验
19
时间序列实验
季节性调整 · 趋势检测 · 滚动窗口评估
时间序列实验季节性调整
20
离线实验与在线实验
离线评估指标 · 在线验证 · 一致性检查
离线实验线实验
21
实验平台搭建
实验管理工具 · 特征开关 · 日志系统
实验平台搭建实验管理工具
22
实验伦理与合规
用户隐私 · 数据安全 · 公平性考量
实验伦理合规
23
常见陷阱与误区
辛普森悖论 · 幸存者偏差 · p-hacking
常见陷阱误区
24
案例研究1
推荐系统Champion Chall…
案例研究1Champion
25
案例研究2
风控模型Champion Chall…
案例研究2Champion
26
案例研究3
定价策略Champion Chall…
案例研究3Champion
27
实验报告撰写
结构 · 关键发现 · 建议
实验报告撰写结构
28
实验迭代与持续优化
从实验到学习 · 知识沉淀 · 模型生命周期管理
实验迭代持续优化
29
团队协作与沟通
跨部门协作 · 实验评审 · 结果分享
团队协作沟通
30
未来趋势
自动化实验 · 强化学习与Champion Chal… · 因果推断融合
未来趋势自动化实验