1. 课程导论:组合风险归因与 PSI 监控的背景、目标与整体课程大纲
1.1 为什么需要组合风险归因与 PSI 监控?
在量化风控与金融科技领域,风险模型的生命周期管理正面临三大核心挑战:
- 模型失效风险:市场环境、客群行为、数据分布随时间漂移,导致模型预测能力衰减。
- 组合归因盲区:多资产、多策略、多因子的组合风险无法通过单一模型指标衡量,需要分层拆解。
- 监控实时性不足:传统离线报表无法满足高频交易或实时授信场景下的风险预警需求。
本课程聚焦于 Spark 大数据引擎 如何解决上述问题,通过组合风险归因与 PSI(Population Stability Index,群体稳定性指标)监控,构建可扩展、可解释、可预警的风险模型监控体系。
核心痛点:模型上线后,AUC/KS 等单一指标无法揭示“哪个因子、哪个客群、哪个时间窗口”发生了漂移。组合风险归因 + PSI 监控正是为此而生。
1.2 课程目标
完成本课程后,学员将具备以下能力:
- 理解组合风险归因理论:掌握因子贡献度、边际风险、成分风险等核心概念。
- 掌握 PSI 计算与解读:从分箱逻辑到分布差异度量,能独立计算并诊断模型稳定性。
- 构建 Spark 监控流水线:使用 DataFrame API、窗口函数、UDF 实现大规模 PSI 批量计算。
- 设计归因监控看板:结合 Spark + 可视化工具,输出可交互的风险归因报告。
- 落地生产级监控策略:包括阈值设定、告警规则、回滚机制与模型迭代流程。
1.3 课程大纲总览
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1-5 章 | 组合风险归因基础、PSI 数学原理、Spark 环境搭建与数据准备 |
| 核心算法篇 | 第 6-12 章 | PSI 分箱策略、因子贡献度计算、组合归因分解、窗口函数与 UDF 实现 |
| 工程实践篇 | 第 13-20 章 | Spark 性能调优、增量计算、告警集成、监控看板开发 |
| 进阶与案例篇 | 第 21-28 章 | 多模型组合归因、实时 PSI 监控、A/B 测试框架、生产故障复盘 |
| 总结与考核 | 第 29-30 章 | 课程项目实战、综合考核与知识图谱回顾 |
1.4 组合风险归因与 PSI 监控整体架构
下图展示了本课程所构建的监控体系核心架构,从数据源到归因计算再到告警输出,全部基于 Spark 实现。
1.5 课程特色与学习路径
学习建议:本课程采用“理论 + 代码 + 案例”三合一模式。建议学员先通读基础篇建立概念,再跟随核心算法篇动手编码,最后通过工程实践篇完成端到端项目。
课程特色包括:
- 全 Spark 原生实现:不依赖第三方 ML 库,所有归因与 PSI 计算均使用 Spark SQL 与 DataFrame API。
- 生产级代码规范:提供完整的 Spark 作业模板、配置管理、单元测试与 CI/CD 集成示例。
- 真实金融场景案例:基于信贷评分卡、基金组合、量化策略等实际业务数据展开。
- 可交互监控看板:结合 Spark + 轻量级可视化工具,输出可部署的监控页面。
1.6 预备知识要求
| 知识领域 | 要求 | 建议补充资源 |
|---|---|---|
| Spark 基础 | 熟悉 DataFrame、SQL、UDF 基本操作 | 《Spark 权威指南》前 10 章 |
| Python/Scala | 至少掌握一种 Spark 开发语言 | 本课程代码以 Python (PySpark) 为主 |
| 风险模型基础 | 了解评分卡、逻辑回归、AUC/KS 等概念 | 《信用风险评分卡研究》 |
| 统计学基础 | 理解分布、分位数、假设检验 | 《统计学习导论》前 3 章 |