1. 课程导论：组合风险归因的定义、为什么需要 Spark、课程目标与前置知识
1.1 什么是组合风险归因
组合风险归因（Portfolio Risk Attribution）是金融风控与绩效分析的核心环节。它旨在将投资组合的总风险拆解到各个资产、因子或决策层面，回答“风险从何而来”这一关键问题。常见的归因维度包括：
- 资产归因：每只股票、债券或衍生品对组合总风险的边际贡献。
- 因子归因：市场、规模、价值、动量等系统性风险因子的暴露与贡献。
- 行业/板块归因：不同行业或板块的集中度风险。
- 决策层归因：择时、选股、杠杆等主动管理决策带来的风险增量。
核心公式：在方差-协方差框架下，资产 i 的边际风险贡献（MRC）定义为 ∂σ_p / ∂w_i，其中 σ_p 为组合波动率，w_i 为资产权重。总风险可分解为各资产贡献之和。
1.2 为什么需要 Spark 处理风险归因
传统单机计算（如 Excel、Python Pandas）在以下场景中面临严重瓶颈：
| 挑战维度 | 传统方案瓶颈 | Spark 解决方案 |
|---|---|---|
| 数据规模 | 万级证券 × 千级历史日频数据，内存溢出 | 分布式 RDD/DataFrame，内存+磁盘混合计算 |
| 计算复杂度 | 协方差矩阵 O(N²) 计算，N=5000 时单机耗时数小时 | 分布式矩阵分解与并行协方差计算 |
| 归因频率 | 日频归因需数小时，无法支持盘中或准实时 | 增量计算与缓存机制，分钟级完成全量归因 |
| 因子模型 | 多因子回归（如 Barra）需大量内存存储因子载荷 | 分布式 MLlib 回归 + 广播变量优化 |
| 回测与压力测试 | 蒙特卡洛模拟路径数受限 | 并行生成百万级模拟路径 |
1.3 课程目标
完成本课程后，学员将能够：
- 理解风险归因数学原理：掌握边际风险贡献、成分风险、因子归因等核心概念。
- 搭建 Spark 数据处理流水线：从数据摄取、清洗、协方差计算到归因结果输出。
- 实现多因子风险模型：使用 Spark MLlib 进行因子回归与风险分解。
- 优化大规模计算性能：应用广播变量、缓存策略、分区优化等技巧。
- 构建生产级归因系统：支持日频/准实时归因，对接下游报表与风控平台。
1.4 前置知识要求
| 领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| 编程基础 | 熟悉 Python 或 Scala 语法，了解函数式编程 | Python 官方教程 / Scala for the Impatient |
| 金融风控 | 理解投资组合理论、方差-协方差、VaR、因子模型 | 《Quantitative Risk Management》 |
| Spark 基础 | 了解 RDD、DataFrame、Spark SQL 基本操作 | 《Learning Spark》第 1-4 章 |
| 数学统计 | 线性代数（矩阵运算）、概率论、回归分析 | 《统计学习导论》 |
注意：本课程不从头教授 Spark 基础语法。建议学员在开课前完成至少一个 Spark 入门教程，确保能独立编写简单的 DataFrame 转换操作。
1.5 课程内容概览
本课程共 30 章，分为四大模块：
- 模块一（第 1-5 章）：基础概念与环境搭建，包括风险归因数学、Spark 集群配置、数据模型设计。
- 模块二（第 6-15 章）：核心归因算法实现，包括协方差矩阵计算、边际风险贡献、成分风险分解、因子归因。
- 模块三（第 16-25 章）：性能优化与生产化，包括广播变量、缓存策略、增量计算、调度与监控。
- 模块四（第 26-30 章）：实战案例与扩展，包括多资产归因、压力测试集成、实时归因流处理。
1.6 开发环境与工具
本课程所有代码基于以下环境：
- Spark 版本：Apache Spark 3.4+（推荐 3.5）
- 编程语言：Python（PySpark）为主，部分章节提供 Scala 对照
- 数据存储：HDFS 或本地文件系统，示例数据使用 Parquet 格式
- 调度平台：YARN 或 Kubernetes（本地开发可用 Spark Standalone）
- 开发工具：Jupyter Notebook + SparkMagic 或 IntelliJ IDEA
快速启动：课程配套 Docker 镜像已预装 Spark 3.5 + Hadoop 3.3 + Jupyter，学员可在 5 分钟内启动完整开发环境。