📚 课程目录第2章 Spark环境搭建与配置

2. Spark环境搭建与配置：Spark集群安装、PySpark环境配置、SparkSession初始化、核心参数调优

在风控特征样本分层场景中，Spark环境的稳定性与配置的合理性直接决定特征计算的时效性与样本分层的准确性。本节将围绕集群安装、Python接口配置、会话初始化及参数调优四个核心环节展开，确保你能够快速搭建一套可用于生产级风控计算的Spark环境。

2.1 Spark集群安装模式对比

Spark支持多种部署模式，风控场景通常选择Standalone或YARN模式。下表对比了三种常见模式的适用场景与优缺点：

部署模式	资源管理	适用场景	优点	缺点
Standalone	Spark内置Master/Worker	中小规模风控集群（10-50节点）	部署简单，无外部依赖	资源隔离弱，不适合多租户
YARN	Hadoop YARN	已有Hadoop生态的大规模风控集群	资源统一管理，支持动态分配	依赖Hadoop，运维复杂
Kubernetes	K8s	容器化风控微服务架构	弹性伸缩，云原生	网络配置复杂，调试门槛高

风控建议： 对于大多数金融风控团队，推荐使用 YARN 模式。它能够与Hive、HBase等数据源无缝集成，且支持动态资源分配，在特征样本分层的高峰期（如每日批量计算）可自动扩展计算资源。

2.2 PySpark环境配置

PySpark是Python与Spark之间的桥梁，在风控特征工程中，我们通常使用Python进行特征逻辑开发，再通过PySpark提交到集群执行。配置步骤如下：

安装Java JDK 8/11：Spark依赖JVM，推荐使用JDK 8u201以上版本。
安装Apache Spark：从官网下载预编译版本（如spark-3.4.0-bin-hadoop3），解压至指定目录。
配置环境变量：设置 SPARK_HOME 和 PYTHONPATH。
安装PySpark包：通过pip安装与Spark版本匹配的PySpark。

# 环境变量配置示例（~/.bashrc 或 ~/.zshrc）
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9.5-src.zip:$PYTHONPATH

# 安装PySpark
pip install pyspark==3.4.0

版本兼容性警告： PySpark版本必须与Spark集群版本严格一致。例如，集群安装的是Spark 3.4.0，则pip安装的pyspark也必须是3.4.0，否则可能出现RPC协议不兼容导致的任务失败。

2.3 SparkSession初始化

SparkSession是Spark 2.0+的统一入口，在风控特征样本分层中，我们通过它来读取数据源、配置计算参数、注册UDF等。以下是一个面向风控场景的初始化模板：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("RiskControl_FeatureSampleStratification") \
    .master("yarn") \
    .config("spark.sql.shuffle.partitions", "200") \
    .config("spark.sql.adaptive.enabled", "true") \
    .config("spark.sql.adaptive.coalescePartitions.enabled", "true") \
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
    .config("spark.kryoserializer.buffer.max", "512m") \
    .config("spark.dynamicAllocation.enabled", "true") \
    .config("spark.dynamicAllocation.minExecutors", "5") \
    .config("spark.dynamicAllocation.maxExecutors", "50") \
    .config("spark.shuffle.service.enabled", "true") \
    .enableHiveSupport() \
    .getOrCreate()

  关键配置说明：
  spark.sql.shuffle.partitions：控制Shuffle后的分区数，风控特征宽表通常设置为200-500。
spark.sql.adaptive.enabled：开启自适应查询执行，自动合并小分区，减少调度开销。
KryoSerializer：比Java序列化性能提升5-10倍，适合传输风控特征向量。
dynamicAllocation：动态分配Executor，在特征计算高峰期自动扩容。

2.4 核心参数调优

风控特征样本分层涉及大量数据Shuffle和聚合操作，参数调优直接影响计算效率。下表列出了最关键的调优参数及其推荐值：

参数名称	默认值	风控推荐值	调优说明
`spark.executor.memory`	1g	8g-16g	风控特征宽表列数多，需更大堆内存避免OOM
`spark.executor.cores`	1	4-8	提高并行度，但需注意YARN容器资源上限
`spark.sql.shuffle.partitions`	200	200-500	根据数据量调整，特征分层聚合时建议300+
`spark.memory.fraction`	0.6	0.7-0.8	提高统一内存占比，减少磁盘溢出
`spark.memory.storageFraction`	0.5	0.3-0.4	风控计算密集，降低缓存占比，给执行留更多空间
`spark.shuffle.file.buffer`	32k	64k-128k	增大Shuffle写缓冲区，减少磁盘I/O次数

调优黄金法则： 在风控特征样本分层场景中，优先调整 spark.sql.shuffle.partitions 和 spark.executor.memory。如果发现任务长时间卡在Shuffle阶段，应检查分区数是否过少导致单个分区数据倾斜；如果频繁GC或OOM，则应增大Executor内存并检查数据倾斜节点。

2.5 集群架构与数据流

下图展示了风控特征样本分层场景下的Spark集群架构与数据流转路径：

2.6 环境验证与常见问题

完成配置后，建议通过以下步骤验证环境是否就绪：

# 1. 检查Spark版本
spark-submit --version

# 2. 启动PySpark交互式环境
pyspark --master yarn --num-executors 2 --executor-memory 4g

# 3. 运行简单验证代码
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("test").getOrCreate()
df = spark.range(0, 100)
print(df.count())  # 应输出 100

常见问题排查：

PySpark无法连接集群： 检查 SPARK_HOME 环境变量是否正确，以及 yarn-site.xml 和 core-site.xml 是否在Spark的classpath中。
任务OOM： 增大 spark.executor.memory 并检查是否存在数据倾斜，可结合 spark.sql.adaptive.skewJoin.enabled 开启倾斜Join优化。
Shuffle文件丢失： 确保 spark.shuffle.service.enabled 为true，并启动Spark Shuffle Service。