VIP20
本课程属于：056-高频行情数据收益沙盘推演 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Champion Challenger模型效果评估指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Champion Challenger模型概述
定义 · 核心思想 · 在机器学习生产环境中的价值与典型应用…
ChampionChallenger
02
Champion Challenger工作流
从模型开发 · 部署 · 评估到切换的完整生命周期流程图
ChampionChallenger
03
评估指标体系设计
分类 · 回归 · 排序等任务的核心指标选择原则与业务对…
评估指标体系设计分类
04
离线评估与在线评估
离线AUC/LogLoss等指标 v…
离线评估线评估
05
AB测试基础
假设检验 · 显著性水平 · 统计功效
AB测试基础
06
AB测试平台架构
流量分层 · 随机分桶 · 实验分组策略与哈希算法
AB测试平台架构
07
Challenger模型筛选标准
候选模型数量控制 · 性能阈值设定 · 过拟合与欠拟合检测
Challenger模型筛选标准
08
多模型对比矩阵
使用混淆矩阵 · ROC曲线 · PR曲线
多模型对比矩阵使用混淆矩阵
09
时间序列交叉验证
时间感知的验证策略 · 避免数据泄露与未来信息污染
时间序列交叉验证时间感知的验证策…
10
业务指标映射
将模型指标（如准确率）转化为业务指标… · 收入）的方法
业务指标映射将模型指标
11
模型稳定性监控
PSI（群体稳定性指标） · CSI（特征稳定性指标）的计算与解读
模型稳定性监控PSI
12
模型公平性评估
不同群体间的性能差异检测 · 公平性指标（如均等机会 · 均等错误率）
模型公平性评估不同群体间的性能…
13
模型可解释性评估
SHAP · LIME · 特征重要性在Champion Cha…
模型可解释性评估SHAP
14
模型鲁棒性测试
对抗样本 · 噪声注入 · 数据扰动下的模型表现对比
模型鲁棒性测试对抗样本
15
模型延迟与吞吐量评估
在线推理场景下的响应时间 · QPS · 资源消耗对比
模型延迟吞吐量评估
16
模型版本管理
模型注册 · 版本号 · 元数据
模型版本管理模型注册
17
Champion Challenger切换决策
基于统计显著性与业务收益的综合决策矩…
ChampionChallenger
18
灰度发布与渐进式切换
流量逐步迁移策略 · 监控指标与自动回滚机制
灰度发布渐进式切换
19
多臂老虎机（MAB）在Champion Challenger中的应用
动态流量分配与探索-利用平衡
MABChampion
20
评估报告自动化
自动生成对比报告 · 可视化仪表盘 · 关键指标摘要
评估报告自动化自动生成对比报告
21
案例实战1
信贷风控场景下的Champion C…
案例实战1Champion
22
案例实战2
推荐系统场景下的Champion C…
案例实战2Champion
23
案例实战3
自然语言处理（NLP）场景下的Cha…
案例实战3NLP
24
案例实战4
计算机视觉（CV）场景下的Champ…
案例实战4CV
25
常见陷阱与误区
多重比较问题 · 辛普森悖论 · 幸存者偏差
常见陷阱误区
26
评估工具与框架
MLflow · Kubeflow · Seldon Core
评估工具框架
27
团队协作与流程规范
评估标准文档 · 评审会议 · 模型卡片与审计追踪
团队协作流程规范
28
持续评估与模型生命周期管理
定期重评估 · 自动触发Challenger · 模型退役策略
持续评估模型生命周期管理
29
Champion Challenger与MLOps集成
CI/CD管道 · 模型监控 · 告警与自动切换
ChampionChallenger
30
未来趋势
AutoML · 在线学习 · 联邦学习对Champion Chal…
未来趋势AutoML