VIP20
本课程属于：050-模型风险管理A B分流方案 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型效果评估与A B测试实战案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
模型评估与A/B测试的重要性 · 课程目标与学习路径 · 核心概念速览
课程导论A/B
02
评估指标基础
混淆矩阵 · 准确率 · 精确率
评估指标基础混淆矩阵
03
ROC曲线与AUC
ROC曲线绘制原理 · AUC的统计意义 · 多分类ROC扩展
ROCAUC
04
回归模型评估
MSE · RMSE · MAE
回归模型评估MSE
05
过拟合与欠拟合
偏差-方差权衡 · 学习曲线 · 验证曲线
过拟合欠拟合
06
交叉验证
K折交叉验证 · 留一法 · 分层交叉验证
交叉验证K折交叉验证
07
超参数调优
网格搜索 · 随机搜索 · 贝叶斯优化
超参数调优网格搜索
08
模型选择与比较
嵌套交叉验证 · McNemar检验 · Wilcoxon符号秩检验
模型选择比较
09
A/B测试基础
假设检验 · 零假设与备择假设 · 第一类与第二类错误
A/B测试基础
10
统计功效与样本量计算
功效分析 · 最小可检测效应 · 样本量公式推导
统计功效样本量计算
11
A/B测试设计
随机化原则 · 分流策略 · 分层抽样
A/B测试设计
12
指标选择与监控
核心指标 · 护栏指标 · 代理指标
指标选择监控
13
A/B测试执行流程
实验规划 · 流量分配 · 运行监控
A/B测试执行流程
14
结果分析方法
双样本t检验 · Mann-Whitney U检验 · 卡方检验
结果分析方法双样本t检验
15
多重比较问题
Bonferroni校正 · FDR控制 · Holm-Bonferroni方法
多重比较问题Bonferroni
16
A/B测试陷阱
窥探效应 · 新奇效应 · 辛普森悖论
A/B测试陷阱
17
实战案例1
电商推荐系统离线评估——使用AUC与…
实战案例1AUC
18
实战案例2
电商推荐系统在线A/B测试——设计实… · 运行与解读结果
实战案例2A/B
19
实战案例3
广告点击率(CTR)预估模型评估——… · Gini系数 · 校准曲线
实战案例3CTR
20
实战案例4
广告CTR模型A/B测试——流量分层 · 实时监控 · 决策阈值
实战案例4CTR
21
实战案例5
风控模型评估——KS统计量 · Lift图 · 捕获率曲线
实战案例5KS
22
实战案例6
风控模型A/B测试——拒绝推断 · 长期效果评估
实战案例6A/B
23
实战案例7
NLP文本分类模型评估——宏平均与微… · 混淆矩阵可视化
实战案例7NLP
24
实战案例8
NLP模型A/B测试——在线评估 · 用户反馈收集 · 迭代优化
实战案例8NLP
25
实战案例9
图像识别模型评估——mAP · IoU · FPS
实战案例9mAP
26
实战案例10
图像识别模型A/B测试——灰度发布 · Shadow测试 · 金丝雀发布
实战案例10A/B
27
多臂老虎机(MAB)与动态实验
epsilon-Greedy · UCB · Thompson Sampling
MAB多臂老虎机
28
长期效果评估与归因
增量模型 · 双重差分法 · 合成控制法
长期效果评估归因
29
实验平台与工具
MLflow · Abtest平台 · Statsmodels
实验平台工具
30
课程总结与进阶方向
最佳实践总结 · 因果推断入门 · 推荐阅读与资源
课程总结进阶方向