2. Spark 大数据环境搭建：Spark 集群安装、HDFS 配置、YARN 资源调度、SparkSession 初始化

在信用评分特征工程中，原始数据通常以百 GB 甚至 TB 级别存储在分布式文件系统中。本章将搭建一套完整的 Spark 大数据环境，涵盖集群安装、HDFS 配置、YARN 资源调度以及 SparkSession 初始化，为后续的特征处理提供稳定、高性能的计算底座。

2.1 环境规划与版本选型

生产环境推荐使用以下组件版本组合，兼顾稳定性与特性支持：

2.2 集群节点规划

以 3 节点集群为例，角色分配如下：

• master1：NameNode + ResourceManager + Spark Master
• worker1：DataNode + NodeManager + Spark Worker
• worker2：DataNode + NodeManager + Spark Worker

所有节点之间配置 SSH 免密登录，并保持时钟同步（NTP）。

2.3 Spark 集群安装步骤

1. 下载与解压：从 Apache 官网下载 spark-3.4.0-bin-hadoop3.tgz，解压至 /opt/spark。
2. 配置环境变量：在 /etc/profile 或 ~/.bashrc 中添加 SPARK_HOME 并更新 PATH。
3. 修改 spark-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_MASTER_HOST=master1
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=8g

4. 配置 workers 文件：在 $SPARK_HOME/conf/workers 中列出所有 Worker 节点主机名。
5. 分发安装包：使用 scp 将 /opt/spark 同步到所有 Worker 节点。
6. 启动集群：在 Master 节点执行 $SPARK_HOME/sbin/start-all.sh。

2.4 HDFS 配置要点

HDFS 为信用评分原始数据（如申请单、还款流水、外部征信报告）提供持久化存储。核心配置项如下：

2.5 YARN 资源调度配置

YARN 负责集群资源的统一管理与作业调度。信用评分特征工程中，多个特征组（如聚合特征、时序特征、衍生特征）可能并行提交，合理的 YARN 配置能避免资源争抢。

2.6 SparkSession 初始化

SparkSession 是 Spark 2.0+ 的统一入口，整合了 SQL、Streaming、MLlib 等 API。在信用评分项目中，初始化时需指定 HDFS 路径、序列化方式及动态资源分配参数。

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("CreditScore_FeatureEngineering") \
    .master("yarn") \
    .config("spark.sql.adaptive.enabled", "true") \
    .config("spark.sql.adaptive.coalescePartitions.enabled", "true") \
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
    .config("spark.dynamicAllocation.enabled", "true") \
    .config("spark.dynamicAllocation.minExecutors", "2") \
    .config("spark.dynamicAllocation.maxExecutors", "10") \
    .config("spark.sql.shuffle.partitions", "200") \
    .getOrCreate()

2.7 环境验证与架构总览

启动完成后，通过 Web UI 验证各组件状态：

• HDFS NameNode：http://master1:9870
• YARN ResourceManager：http://master1:8088
• Spark Master：http://master1:8080

以下 SVG 图展示了 Spark 集群、HDFS 与 YARN 的协作关系，以及 SparkSession 初始化后的数据流向：

2.8 常见问题与避坑指南

• 端口冲突：HDFS 9000 端口与 Spark Master 7077 端口需确保未被占用，可使用 netstat -tlnp 检查。
• 磁盘空间不足：信用评分原始数据量大，DataNode 数据目录需预留至少 500GB 空间，并配置磁盘使用率告警。
• 内存溢出：YARN 容器内存与 Spark Executor 内存需匹配，避免 spark.executor.memory 超过 yarn.nodemanager.resource.memory-mb。
• 时钟不同步：集群节点时间偏差超过 30 秒会导致 HDFS 或 YARN 心跳超时，务必配置 NTP 服务。