1. 课程导论：金融特征回放评审与 A/B 测试
1.1 核心概念定义
在金融风控模型的生命周期中，特征回放评审与A/B 测试是保障模型迭代安全性与有效性的两大支柱。本课程将围绕这两个核心概念，构建一套完整的实战方法论。
| 概念 | 定义 | 金融风控场景中的角色 |
|---|---|---|
| 特征回放评审 | 将新设计的特征变量，在历史时间窗口（如过去 6 个月）的存量数据上，模拟计算其取值分布、缺失率、稳定性及与目标变量的相关性。 | 验证特征在时间维度上的可回溯性与逻辑一致性，避免“未来信息泄露”或“数据口径漂移”。 |
| A/B 测试 | 在线上真实流量中，将用户随机分为实验组（新模型/新特征）与对照组（旧模型/旧特征），通过统计检验对比两组的关键风控指标。 | 在不影响大盘风险的前提下，量化新特征/新模型带来的边际收益（如提升区分度、降低误杀率）。 |
关键认知：特征回放评审是“离线验证”，A/B 测试是“在线验证”。两者构成从实验室到生产环境的完整验证闭环，缺一不可。
1.2 在风控模型迭代中的核心价值
金融风控模型迭代面临三大核心挑战：样本时效性、分布漂移、业务不可逆损失。特征回放评审与 A/B 测试分别从不同维度解决这些问题。
- 降低迭代试错成本：特征回放评审在离线阶段即可筛除 60%-80% 的无效或有害特征，避免无效特征进入线上测试浪费流量。
- 保障线上业务连续性：A/B 测试通过小流量实验，确保新模型在上线前不会对核心风控指标（如逾期率、通过率）造成突发性恶化。
- 建立可量化的决策依据：从“感觉这个特征有效”转变为“KS 提升 0.02，PSI 小于 0.1，A/B 测试置信度 95%”，用数据驱动决策。
- 满足监管合规要求：金融监管机构（如央行、银保监会）要求模型变更需有完整的评审与验证记录，回放评审与 A/B 测试报告是合规审计的核心材料。
行业数据：某头部消费金融公司实践表明，引入系统化的特征回放评审流程后，模型迭代周期从 4 周缩短至 1.5 周，且线上 A/B 测试失败率从 35% 降至 8%。
1.3 课程整体学习路径图
本课程共分为 6 大模块，从基础概念到高级实战，层层递进。下图展示了完整的知识体系与学习路径。
1.4 学习路径拆解
为了帮助你更高效地学习，我们将上述路径图拆解为具体的知识单元与交付物清单：
| 模块 | 核心知识点 | 实战交付物 | 预计时长 |
|---|---|---|---|
| 模块一：基础概念 | 特征回放 vs 特征工程；A/B 测试统计原理 | 概念脑图 + 术语表 | 1 课时 |
| 模块二：特征回放评审 | 回放引擎设计；PSI/IV 计算；数据漂移检测 | Python 回放脚本 + 评审报告模板 | 3 课时 |
| 模块三：A/B 测试设计 | 分流算法；样本量计算；假设检验 | 实验设计文档 + 统计计算器 | 2 课时 |
| 模块四：实战案例 | 全流程串联：回放→评审→A/B 测试→决策 | 完整案例代码 + 分析报告 | 4 课时 |
| 模块五：高级专题 | MAB 算法；时序交叉验证；联邦特征回放 | MAB 仿真代码 + 联邦回放方案 | 2 课时 |
| 模块六：工具与平台 | Airflow 回放调度；实验平台 API 封装 | 平台搭建指南 + 监控看板 SQL | 2 课时 |
学习建议：本课程包含大量代码与数据实操，建议在学习模块二之前，先确保本地 Python 环境已安装 pandas、scipy、statsmodels 等基础库。模块四的实战案例将复用前三个模块的成果，请勿跳跃学习。
1.5 本课程适合谁？
- 金融风控建模工程师：希望建立规范的特征迭代流程，减少线上事故。
- 数据分析师/策略分析师：需要掌握 A/B 测试在风控场景下的特殊设计方法。
- 风控平台开发工程师：需要了解特征回放与实验平台的技术架构。
- 金融科技产品经理：希望理解模型迭代的验证逻辑，更好地与技术团队协作。