VIP20
本课程属于：050-模型风险管理A B分流方案 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

A B测试在模型效果评估中的技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
A/B测试基础概念
A/B测试的定义 · 在模型评估中的核心价值 · 与传统离线评估的区别
A/B测试基础概念
02
实验设计原则
随机化原则 · 对照原则 · 重复原则
实验设计原则随机化原则
03
假设检验入门
原假设与备择假设 · 显著性水平α · p值
假设检验入门原假设
04
统计功效分析
功效函数 · 样本量对功效的影响 · 如何计算最小样本量
统计功效分析功效函数
05
效应量计算
Cohen's d · 相对提升率 · 绝对提升率
效应量计算Cohen
06
样本量估算方法
基于功效的样本量公式 · 在线计算器使用 · 实际业务中的样本量权衡
样本量估算方法基于功效的样本量…
07
流量分割策略
用户级分流 · 请求级分流 · 分层分流
流量分割策略用户级分流
08
随机化单元选择
用户ID随机化 · 设备ID随机化 · 会话随机化
随机化单元选择ID
09
分流算法实现
哈希取模法 · 一致性哈希 · 盐值策略
分流算法实现哈希取模法
10
实验指标定义
核心指标 · 辅助指标 · 护栏指标
实验指标定义核心指标
11
指标标准化与归一化
Z-score · Min-Max归一化 · 在跨模型对比中的必要性
指标标准化归一化
12
多指标多重比较问题
Bonferroni校正 · FDR控制 · Holm-Bonferroni方法
多指标多重比较问…Bonferroni
13
连续型指标检验
t检验 · Welch t检验 · Mann-Whitney U检验
连续型指标检验t检验
14
比率类指标检验
Z检验 · 卡方检验 · Fisher精确检验
比率类指标检验Z检验
15
贝叶斯A/B测试
贝叶斯框架 · 后验分布 · 可信区间
A/B贝叶斯
16
序贯检验与早停策略
SPRT · Pocock边界 · O'Brien-Fleming边界
序贯检验早停策略
17
MAB多臂老虎机方法
Epsilon-Greedy · UCB · Thompson Sampling
MAB多臂老虎机方法
18
实验周期确定
最小运行时长 · 周几效应 · 季节效应
实验周期确定最小运行时长
19
新奇效应与学习效应
定义 · 检测方法 · 延长实验期
新奇效应学习效应
20
网络效应与干扰
SUTVA假设 · 网络干扰类型 · 集群随机化
网络效应干扰
21
实验数据收集与清洗
日志埋点 · 数据管道 · 异常值处理
实验数据收集清洗
22
实验分析流程
数据校验 · 描述性统计 · 假设检验
实验分析流程数据校验
23
分组均衡性检验
AA测试 · 协变量平衡检验 · PSM倾向得分匹配
分组均衡性检验AA
24
AA测试原理与实施
AA测试的目的 · 预期结果 · 如何判断分流系统是否正常
AA测试原理
25
结果解读与业务决策
统计显著性与实际显著性 · 最小可检测效应 · 决策树框架
结果解读业务决策
26
实验报告撰写
结构化报告模板 · 可视化呈现 · 结论与建议
实验报告撰写结构化报告模板
27
多变量测试与正交实验
全因子设计 · 部分因子设计 · 正交表
多变量测试正交实验
28
模型版本迭代中的A/B测试
灰度发布 · 金丝雀发布 · 蓝绿部署与A/B测试的结合
A/B模型版本迭代
29
A/B测试平台架构
实验管理后台 · 分流服务 · 数据管道
A/B测试平台架构
30
A/B测试常见陷阱与最佳实践
辛普森悖论 · 幸存者偏差 · 多重比较陷阱
A/B测试常见陷阱