1. 课程导论：信用评分模型A/B测试的价值、课程目标与学习路径
1.1 为什么信用评分模型需要A/B测试？
在信贷业务中，信用评分模型是风险决策的核心引擎。传统模型评估通常依赖离线指标（如KS、AUC、Lift），但离线表现优异并不等于线上业务效果必然提升。模型上线后，实际环境中的客群分布偏移、拒绝推断偏差、业务策略联动等因素，都可能导致模型效果“水土不服”。
A/B测试 为信用评分模型提供了一种“线上随机对照实验”的科学验证手段，其核心价值体现在以下三个维度：
| 价值维度 | 传统离线评估痛点 | A/B测试解决方案 |
|---|---|---|
| 因果推断 | 无法区分模型效果提升是来自模型本身还是外部环境变化 | 通过随机分流，隔离混杂变量，直接估计模型对业务指标的因果效应 |
| 业务指标验证 | 仅关注统计区分度，忽略逾期率、通过率、利润等真实业务指标 | 在真实流量中对比新模型与旧模型的逾期率、通过率、坏账率、ROI |
| 风险与收益平衡 | 单一指标优化容易导致业务失衡（如过度收紧通过率） | 多指标联合监控，在风险可控前提下寻找最优收益点 |
关键认知： 信用评分模型的A/B测试不是简单的“模型A vs 模型B”胜出判断，而是一套包含假设检验、样本量规划、分流策略、效果归因、长期监控的完整实验体系。
1.2 课程目标：从理论到实战的完整闭环
本课程旨在帮助学员建立信用评分模型A/B测试的完整知识体系与实操能力，具体目标如下：
- 理解实验设计原理： 掌握随机分流、样本量计算、最小可检测效应（MDE）、统计功效等核心概念在信用评分场景下的应用。
- 掌握信用评分特有挑战： 解决拒绝推断、样本选择偏差、长周期逾期标签滞后、多模型并行等风控场景的A/B测试难题。
- 独立完成效果评估： 能够使用Python（pandas、scipy、statsmodels）完成从数据清洗、指标计算、假设检验到结果可视化的全流程。
- 输出可落地的评估报告： 学会撰写面向业务方和风控管理层的A/B测试效果评估报告，包含统计显著性与业务显著性双重解读。
适用人群： 风控建模工程师、数据分析师、策略分析师、信用评分卡开发人员、以及希望将A/B测试方法论引入风控领域的算法工程师。
1.3 学习路径：课程章节全景图
课程共30章，按“基础理论 → 实验设计 → 指标体系 → 实战案例 → 高阶专题”五阶段递进。以下为整体学习路径：
1.4 课程特色与实战案例概览
本课程区别于纯理论教材，强调“从数据到决策”的完整链路。核心实战案例围绕一个虚构但高度真实的信贷场景展开：
实战案例背景： 某消费金融公司现有信用评分模型（旧模型A）已运行12个月，现开发了基于XGBoost的新评分模型（新模型B）。业务方希望验证新模型能否在保持通过率不变的前提下，将M3+逾期率降低15%以上。你需要设计并执行一次完整的A/B测试，给出是否全量上线的决策建议。
案例将覆盖以下关键环节：
- 数据准备： 历史申请数据、逾期标签、拒绝样本的模拟生成与预处理。
- 实验设计： 样本量计算（基于MDE=15%、α=0.05、β=0.2）、随机分流策略（按用户ID哈希）。
- 指标计算： 逾期率、通过率、KS值、利润贡献的线上对比。
- 统计检验： 双比例Z检验、卡方检验、置信区间估计。
- 结果解读： 统计显著性与业务显著性的权衡，以及“不显著”情况下的决策框架。
1.5 学习建议与预备知识
| 预备知识领域 | 具体要求 | 推荐复习资源 |
|---|---|---|
| 统计学基础 | 理解假设检验、p值、置信区间、正态分布 | 《统计学》贾俊平 第7-9章 |
| Python编程 | 熟练使用pandas、numpy、matplotlib | Pandas官方文档10分钟入门 |
| 信用评分基础 | 了解评分卡、KS、AUC、逾期率定义 | 《信用评分模型技术与应用》第2-4章 |
| A/B测试基础 | 了解随机实验、分流、AA测试概念 | 《Trustworthy Online Controlled Experiments》第1-3章 |
重要提示： 信用评分模型的A/B测试与互联网产品A/B测试有显著差异。风控场景中，逾期标签存在滞后性（通常需要观察3-6个月），且拒绝样本的“反事实”推断是必须处理的核心难题。本课程将重点讲解这些差异点及其解决方案。
1.6 课程输出物与交付标准
完成本课程后，你将能够独立产出以下交付物：
- A/B测试实验设计文档： 包含实验假设、样本量计算、分流方案、监控指标、决策标准。
- 效果评估分析报告： 包含描述性统计、假设检验结果、置信区间、业务指标对比、可视化图表。
- 可复用的Python评估代码： 封装好的函数库，支持一键计算KS、AUC、逾期率差异及统计检验。
- 决策建议书： 面向业务方的非技术性总结，包含是否全量上线的建议及风险提示。
现在，让我们正式进入信用评分模型A/B测试的世界。