VIP20
本课程属于：052-授信决策引擎灰度试运行 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Champion Challenger对比分析从入门到实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Champion Challenger概念入门
什么是Champion模型 · 什么是Challenger模型 · 对比分析的核心价值与业务场景
ChampionChallenger
02
对比分析框架概述
A/B测试基础 · 假设检验思想 · 统计显著性
对比分析框架概述A/B
03
业务指标定义
如何定义评估指标（准确率 · 召回率 · F1
业务指标定义如何定义评估指标
04
数据准备与划分
训练集/验证集/测试集划分 · 时间序列数据切分 · 分层抽样与随机抽样
数据准备划分
05
Champion模型建立
基线模型选择（规则模型 · 简单统计模型 · 已有生产模型）
Champion模型建立
06
Challenger模型设计
候选模型探索（不同算法 · 特征工程 · 超参数）
Challenger模型设计
07
离线评估方法论
交叉验证 · 留出法 · 自助法
离线评估方法论交叉验证
08
统计检验实战
t检验 · 卡方检验 · McNemar检验
统计检验实战t检验
09
效果可视化
ROC曲线对比 · PR曲线对比 · 增益图
效果可视化ROC
10
A/B测试平台搭建
流量分配策略 · 随机化单元 · 实验分层与互斥
A/B测试平台搭建
11
线上实验设计
样本量计算 · 最小可检测效应 · 实验时长与统计功效
线上实验设计样本量计算
12
Champion vs Challenger线上对比
实时指标监控 · 数据埋点 · 日志收集
Championvs
13
多Challenger管理
多臂老虎机算法 · Thompson采样 · UCB算法
Challenger管理
14
模型稳定性分析
PSI（群体稳定性指标） · 特征分布漂移 · 概念漂移检测
模型稳定性分析PSI
15
业务影响评估
ROI计算 · 成本收益分析 · 业务指标转化
业务影响评估ROI
16
决策机制设计
自动切换规则 · 人工审核流程 · 灰度发布策略
决策机制设计自动切换规则
17
案例实战1——信贷风控场景
信用评分卡Champion vs 机…
案例实战1信贷风控场景
18
案例实战2——推荐系统场景
协同过滤Champion vs 深度…
案例实战2推荐系统场景
19
案例实战3——广告点击率预估
逻辑回归Champion vs GB…
案例实战3广告点击率预估
20
案例实战4——自然语言处理场景
TF-IDF Champion vs…
案例实战4自然语言处理场景
21
案例实战5——图像识别场景
ResNet Champion vs…
案例实战5图像识别场景
22
自动化对比流水线
Pipeline构建 · 定时评估 · 报告自动生成
自动化对比流水线Pipeline
23
模型版本控制与回滚
MLflow · DVC · 模型注册表
模型版本控制回滚
24
多指标综合评估
加权评分 · 帕累托最优 · 决策矩阵
多指标综合评估加权评分
25
公平性与偏差检测
群体公平性指标 · 反事实分析 · 偏差缓解
公平性偏差检测
26
可解释性对比
SHAP值对比 · LIME解释 · 特征重要性对比
可解释性对比SHAP
27
成本与延迟对比
推理时间 · 内存占用 · 计算资源消耗
成本延迟对比
28
Champion Challenger运营最佳实践
实验文档 · 沟通模板 · 复盘流程
ChampionChallenger
29
常见陷阱与避坑指南
多重比较问题 · 数据窥探 · 新奇效应
常见陷阱避坑指南
30
课程总结与未来展望
AutoML与Champion Ch… · 持续学习 · MLOps融合
课程总结未来展望