3、Spark环境搭建：Spark集群安装、PySpark环境配置、Jupyter Notebook集成

在开始处理组合风险归因数据之前，必须搭建一个稳定、可扩展的Spark运行环境。本章将指导你完成从Spark集群安装到PySpark开发环境配置，再到Jupyter Notebook集成的完整流程。一个正确的环境搭建是后续所有风险计算和归因分析的基础。

3.1 环境概览与版本选型

组合风险归因计算涉及大量矩阵运算和聚合操作，推荐使用Spark 3.x版本以充分利用其性能优化。以下是核心组件版本建议：

3.2 Spark集群安装（Standalone模式）

Standalone模式是Spark自带的集群管理器，适合学习和中小规模风险计算场景。以下是在三台Linux服务器（node01、node02、node03）上搭建集群的步骤。

3.2.1 前置准备

• 所有节点安装Java 17，配置JAVA_HOME环境变量。
• 所有节点配置SSH免密登录，确保spark用户可无密码访问各节点。
• 所有节点时钟同步（使用NTP服务）。
• 下载Spark安装包：spark-3.4.0-bin-hadoop3.tgz。

3.2.2 安装与配置

在主节点（node01）上执行以下操作：

# 解压安装包到指定目录
tar -zxvf spark-3.4.0-bin-hadoop3.tgz -C /opt/
ln -s /opt/spark-3.4.0-bin-hadoop3 /opt/spark

# 配置环境变量（/etc/profile.d/spark.sh）
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

# 复制并修改配置文件
cd /opt/spark/conf
cp spark-env.sh.template spark-env.sh
cp workers.template workers
cp spark-defaults.conf.template spark-defaults.conf

编辑spark-env.sh，添加以下核心配置：

# Java环境
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk
# Master节点主机名
export SPARK_MASTER_HOST=node01
export SPARK_MASTER_PORT=7077
# 每个Worker节点的核心数与内存（根据实际硬件调整）
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=8g
# 历史服务器配置
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node01:9000/spark-logs"

编辑workers文件，指定Worker节点：

node01
node02
node03

将配置好的Spark目录分发到所有Worker节点：

scp -r /opt/spark node01:/opt/
scp -r /opt/spark node02:/opt/
scp -r /opt/spark node03:/opt/

3.2.3 启动集群

# 在主节点启动Master和所有Worker
/opt/spark/sbin/start-all.sh

# 启动历史服务器（可选）
/opt/spark/sbin/start-history-server.sh

# 验证集群状态
jps  # 主节点应看到 Master 和 Worker 进程
     # Worker节点应看到 Worker 进程

访问 http://node01:8080 查看Spark Web UI，确认所有Worker节点已注册。

3.3 PySpark环境配置

PySpark是Spark的Python API，是进行组合风险归因数据分析的主要接口。配置PySpark环境需要确保Python与Spark的版本兼容，并正确设置环境变量。

3.3.1 安装Python与依赖

在所有节点上安装Python 3.10及必要的科学计算库：

# 安装Python 3.10（以Ubuntu为例）
apt-get update
apt-get install -y python3.10 python3.10-dev python3-pip

# 创建虚拟环境（推荐）
python3.10 -m venv /opt/risk_env
source /opt/risk_env/bin/activate

# 安装核心依赖
pip install --upgrade pip
pip install pyspark==3.4.0
pip install numpy pandas scipy scikit-learn
pip install matplotlib seaborn plotly

3.3.2 配置PySpark环境变量

在~/.bashrc或/etc/profile.d/pyspark.sh中添加：

# PySpark环境变量
export PYSPARK_PYTHON=/opt/risk_env/bin/python3.10
export PYSPARK_DRIVER_PYTHON=/opt/risk_env/bin/python3.10
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

# 解决Python版本冲突
export PYSPARK_SUBMIT_ARGS="--master spark://node01:7077 pyspark-shell"

验证PySpark是否配置成功：

source ~/.bashrc
pyspark --version
# 应输出：Welcome to Spark 3.4.0

3.3.3 测试PySpark连接集群

在任意节点执行以下Python代码，验证能否成功连接到Spark集群：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("RiskEnvTest") \
    .master("spark://node01:7077") \
    .config("spark.executor.memory", "4g") \
    .config("spark.executor.cores", "2") \
    .getOrCreate()

# 创建一个简单的DataFrame测试
df = spark.range(1, 100)
print(f"DataFrame行数: {df.count()}")
print(f"Spark UI地址: {spark.sparkContext.uiWebUrl}")

spark.stop()

3.4 Jupyter Notebook集成

Jupyter Notebook提供了交互式编程环境，非常适合风险归因数据的探索性分析和模型开发。将PySpark内核集成到Jupyter中，可以大幅提升开发效率。

3.4.1 安装Jupyter Notebook

# 在虚拟环境中安装
source /opt/risk_env/bin/activate
pip install jupyter notebook jupyterlab

# 生成配置文件
jupyter notebook --generate-config

3.4.2 配置PySpark内核

创建Jupyter内核配置文件，使Notebook能够识别PySpark：

# 创建内核目录
mkdir -p ~/.local/share/jupyter/kernels/pyspark

# 创建内核配置文件
cat > ~/.local/share/jupyter/kernels/pyspark/kernel.json << 'EOF'
{
 "display_name": "PySpark (Risk Analysis)",
 "language": "python",
 "argv": [
  "/opt/risk_env/bin/python3.10",
  "-m",
  "ipykernel_launcher",
  "-f",
  "{connection_file}"
 ],
 "env": {
  "SPARK_HOME": "/opt/spark",
  "PYSPARK_PYTHON": "/opt/risk_env/bin/python3.10",
  "PYSPARK_DRIVER_PYTHON": "/opt/risk_env/bin/python3.10",
  "PYSPARK_SUBMIT_ARGS": "--master spark://node01:7077 --conf spark.executor.memory=4g --conf spark.executor.cores=2 pyspark-shell"
 }
}
EOF

3.4.3 启动Jupyter并验证

# 启动Jupyter Notebook（绑定所有网络接口，允许远程访问）
jupyter notebook --ip=0.0.0.0 --port=8888 --no-browser

# 访问 http://node01:8888，输入token后进入界面

在Jupyter中新建Notebook，选择PySpark (Risk Analysis)内核，执行以下代码验证集成：

# 在Jupyter中自动获取SparkSession
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("JupyterRiskTest") \
    .getOrCreate()

# 模拟风险因子数据
risk_factors = spark.createDataFrame([
    ("利率", 0.15, 0.02),
    ("汇率", 0.10, 0.03),
    ("信用", 0.20, 0.05)
], ["因子名称", "权重", "波动率"])

risk_factors.show()
spark.stop()

3.5 环境架构总览

下图展示了完整的Spark环境架构，包括集群节点角色、PySpark与Jupyter的集成关系：

3.6 环境验证清单

完成上述安装后，使用以下清单逐项验证环境是否就绪：