1. 课程导论:组合风险归因与 PSI 监控的背景、目标与整体课程大纲

1.1 为什么需要组合风险归因与 PSI 监控?

在量化风控与金融科技领域,风险模型的生命周期管理正面临三大核心挑战:

  • 模型失效风险:市场环境、客群行为、数据分布随时间漂移,导致模型预测能力衰减。
  • 组合归因盲区:多资产、多策略、多因子的组合风险无法通过单一模型指标衡量,需要分层拆解。
  • 监控实时性不足:传统离线报表无法满足高频交易或实时授信场景下的风险预警需求。

本课程聚焦于 Spark 大数据引擎 如何解决上述问题,通过组合风险归因与 PSI(Population Stability Index,群体稳定性指标)监控,构建可扩展、可解释、可预警的风险模型监控体系。

核心痛点:模型上线后,AUC/KS 等单一指标无法揭示“哪个因子、哪个客群、哪个时间窗口”发生了漂移。组合风险归因 + PSI 监控正是为此而生。

1.2 课程目标

完成本课程后,学员将具备以下能力:

  1. 理解组合风险归因理论:掌握因子贡献度、边际风险、成分风险等核心概念。
  2. 掌握 PSI 计算与解读:从分箱逻辑到分布差异度量,能独立计算并诊断模型稳定性。
  3. 构建 Spark 监控流水线:使用 DataFrame API、窗口函数、UDF 实现大规模 PSI 批量计算。
  4. 设计归因监控看板:结合 Spark + 可视化工具,输出可交互的风险归因报告。
  5. 落地生产级监控策略:包括阈值设定、告警规则、回滚机制与模型迭代流程。

1.3 课程大纲总览

模块 章节范围 核心内容
基础篇 第 1-5 章 组合风险归因基础、PSI 数学原理、Spark 环境搭建与数据准备
核心算法篇 第 6-12 章 PSI 分箱策略、因子贡献度计算、组合归因分解、窗口函数与 UDF 实现
工程实践篇 第 13-20 章 Spark 性能调优、增量计算、告警集成、监控看板开发
进阶与案例篇 第 21-28 章 多模型组合归因、实时 PSI 监控、A/B 测试框架、生产故障复盘
总结与考核 第 29-30 章 课程项目实战、综合考核与知识图谱回顾

1.4 组合风险归因与 PSI 监控整体架构

下图展示了本课程所构建的监控体系核心架构,从数据源到归因计算再到告警输出,全部基于 Spark 实现。

组合风险归因与 PSI 监控架构图 组合风险归因与 PSI 监控架构 数据源层:Hive / Kafka / 实时流 特征工程层:分箱 / 标准化 / 缺失处理 归因计算层:PSI / 因子贡献 / 组合分解 监控告警层:阈值判断 / 告警推送 / 看板展示 说明:全链路基于 Spark DataFrame API 构建,支持批流一体与增量计算

1.5 课程特色与学习路径

学习建议:本课程采用“理论 + 代码 + 案例”三合一模式。建议学员先通读基础篇建立概念,再跟随核心算法篇动手编码,最后通过工程实践篇完成端到端项目。

课程特色包括:

  • 全 Spark 原生实现:不依赖第三方 ML 库,所有归因与 PSI 计算均使用 Spark SQL 与 DataFrame API。
  • 生产级代码规范:提供完整的 Spark 作业模板、配置管理、单元测试与 CI/CD 集成示例。
  • 真实金融场景案例:基于信贷评分卡、基金组合、量化策略等实际业务数据展开。
  • 可交互监控看板:结合 Spark + 轻量级可视化工具,输出可部署的监控页面。

1.6 预备知识要求

知识领域 要求 建议补充资源
Spark 基础 熟悉 DataFrame、SQL、UDF 基本操作 《Spark 权威指南》前 10 章
Python/Scala 至少掌握一种 Spark 开发语言 本课程代码以 Python (PySpark) 为主
风险模型基础 了解评分卡、逻辑回归、AUC/KS 等概念 《信用风险评分卡研究》
统计学基础 理解分布、分位数、假设检验 《统计学习导论》前 3 章

1.7 本章小结