VIP20
本课程属于：045-信用评分模型Champion对照实验 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

信用评分A/B测试Champion对照实验实战案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与背景
信用评分在金融风控中的核心地位 · 为什么需要A/B测试来验证模型迭代效… · Champion vs Challe…
课程导论背景
02
实验设计原则
A/B测试的统计学基础（假设检验 · 显著性水平 · 统计功效）
实验设计原则A/B
03
Champion模型基线建立
定义当前线上运行的信用评分模型（Ch… · 提取其历史表现数据（KS · AUC
Champion模型基线建立
04
Challenger模型开发
基于新特征或新算法（如XGBoost · 神经网络）开发候选模型 · 确保其在离线验证集上优于Champi…
Challenger模型开发
05
实验指标定义
明确核心评估指标（通过率 · 坏账率 · 逾期率
实验指标定义明确核心评估指标
06
样本分层与分流策略
如何对客群进行分层（新客/老客 · 风险等级） · 使用UUID或用户ID哈希进行随机分…
样本分层分流策略
07
最小样本量计算
基于预期提升幅度（如坏账率降低10%… · 显著性水平（α=0.05） · 统计功效（1-β=0.8）
最小样本量计算基于预期提升幅度
08
实验周期确定
信用风险具有滞后性 · 如何根据贷款期限（如12期）确定最小… · 避免截断偏差
实验周期确定信用风险具有滞后…
09
数据埋点与采集
在决策引擎中埋点记录Champion… · 拒绝原因 · 最终放款结果
数据埋点采集
10
实验监控看板搭建
使用Python（Flask/Das… · 跟踪两组样本量 · 通过率
实验监控看板搭建Python
11
Python模拟数据生成
使用numpy和pandas生成模拟… · 分组标签 · 评分
Python模拟数据生成
12
数据预处理与清洗
处理缺失值 · 异常值（如评分超出范围） · 确保实验组与对照组数据分布一致
数据预处理清洗
13
描述性统计分析
计算两组样本的均值 · 标准差 · 分位数
描述性统计分析计算两组样本的均…
14
假设检验（一）
两样本t检验——检验两组平均评分是否… · Python实现（scipy.sta…
假设检验两样本t检验
15
假设检验（二）
卡方检验——检验两组逾期率（分类变量… · Python实现（scipy.sta…
假设检验卡方检验
16
假设检验（三）
Mann-Whitney U检验——…
假设检验Mann-Whitney
17
效应量计算
Cohen's d · 相对风险比（RR） · 优势比（OR）
效应量计算Cohen
18
多重比较问题
当同时评估多个指标（通过率 · 坏账率 · KS）时
多重比较问题当同时评估多个指…
19
PSI（群体稳定性指标）监控
计算实验组与对照组在评分分布上的PS… · 确保模型未导致客群偏移
PSI群体稳定性指标
20
时间序列分析
绘制两组累计坏账率随时间变化曲线 · 观察Challenger效果是否随时…
时间序列分析绘制两组累计坏账…
21
分群分析（Subgroup Analysis）
按年龄 · 收入 · 地区等维度拆解
SubgroupAnalysis
22
辛普森悖论排查
检查是否存在整体效果与分群效果方向相… · 通过分层加权分析解决
辛普森悖论排查检查是否存
23
业务决策阈值调整
基于实验结论 · 调整Challenger模型的拒绝阈… · 平衡通过率与坏账率
业务决策阈值调整基于实验结论
24
成本收益分析
计算Challenger带来的坏账减… · 评估ROI
成本收益分析Challenger
25
实验报告撰写
结构化报告模板（摘要 · 方法 · 结果
实验报告撰写结构化报告模板
26
全量上线决策流程
基于实验结论 · 制定Challenger逐步放量（灰… · 设置熔断机制
全量上线决策流程基于实验结论
27
长期监控与回测
上线后持续监控Challenger的… · KS · 坏账率
长期监控回测
28
常见陷阱与避坑指南
样本量不足 · 存活偏差 · 数据泄露
常见陷阱避坑指南
29
案例复盘
某消费金融公司信用评分模型迭代A/B… · 从设计到上线完整案例
案例复盘A/B
30
课程总结与进阶
回顾核心知识点 · 推荐进阶学习路径（因果推断 · 多臂老虎机
课程总结进阶