2. Spark 环境搭建：集群安装、配置、YARN 部署与 Shell 测试

在催收数据处理场景中，Spark 集群的稳定性和资源利用率直接影响每日千万级账单的跑批效率。本章将指导你完成从基础安装到生产级 Spark on YARN 部署的全流程，并通过 Spark Shell 验证环境可用性。

2.1 环境准备与版本选型

生产环境推荐使用以下组件版本组合，该组合在催收跑批场景中经过充分验证：

2.2 Spark 集群安装步骤

以下步骤以 3 节点集群（1 台 Master + 2 台 Worker）为例，主机名分别为 spark-master、spark-worker1、spark-worker2。

1. 下载与解压

   wget https://archive.apache.org/dist/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
   tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /opt/
   ln -s /opt/spark-3.3.2-bin-hadoop3 /opt/spark

2. 配置环境变量（所有节点）

   cat >> /etc/profile << 'EOF'
   export SPARK_HOME=/opt/spark
   export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
   EOF
   source /etc/profile

3. 配置 Spark 环境文件（$SPARK_HOME/conf/spark-env.sh）

   export JAVA_HOME=/usr/java/jdk1.8.0_202
   export SPARK_MASTER_HOST=spark-master
   export SPARK_MASTER_PORT=7077
   export SPARK_WORKER_CORES=4
   export SPARK_WORKER_MEMORY=8g
   export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

4. 配置 Worker 节点列表（$SPARK_HOME/conf/workers）

   spark-worker1
   spark-worker2

5. 分发 Spark 目录到所有 Worker 节点

   scp -r /opt/spark-3.3.2-bin-hadoop3 spark-worker1:/opt/
   scp -r /opt/spark-3.3.2-bin-hadoop3 spark-worker2:/opt/

6. 启动集群

   $SPARK_HOME/sbin/start-all.sh

2.3 Spark 配置详解

催收业务对数据倾斜和内存稳定性要求较高，以下配置项需要重点关注：

2.4 Spark on YARN 部署模式

在催收生产环境中，Spark on YARN 是最主流的部署方式。它将 Spark 应用作为 YARN 任务运行，由 YARN 统一管理集群资源，避免 Spark Standalone 模式下的资源碎片问题。

部署前需确保 Hadoop 集群已启动，且 HADOOP_CONF_DIR 环境变量正确指向 Hadoop 配置目录。

2.4.1 两种运行模式对比

2.4.2 提交催收任务示例

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --class com.collect.batch.CollectionBillJob \
  --num-executors 10 \
  --executor-cores 4 \
  --executor-memory 8g \
  --driver-memory 4g \
  --conf spark.sql.shuffle.partitions=400 \
  /data/jobs/collection-bill-job.jar \
  --date 2025-03-21

2.5 Spark Shell 测试

完成部署后，使用 Spark Shell 验证环境是否正常工作。以下测试模拟催收场景中的简单数据统计：

# 启动 Spark Shell（YARN 模式）
spark-shell --master yarn --deploy-mode client

# 在 Scala Shell 中执行以下代码
val df = spark.read.option("header", "true").csv("/data/collection_sample.csv")
df.printSchema()
df.groupBy("status").count().show()

# 退出 Shell
:quit

如果能够正常打印 Schema 并显示分组统计结果，说明 Spark 环境搭建成功。

2.6 集群架构总览

下图展示了 Spark on YARN 模式下催收任务的整体运行架构：

2.7 催收环境验证清单

完成部署后，建议按以下清单逐项验证，确保环境满足催收业务要求：

• 连通性验证： 所有节点之间 ssh 免密登录正常，ping 主机名可通。
• Spark UI 访问： 浏览器打开 http://spark-master:8080，确认所有 Worker 节点状态为 ALIVE。
• YARN UI 访问： 浏览器打开 http://spark-master:8088，确认 YARN 集群资源总量正确。
• 催收数据读取测试： 使用 Spark Shell 读取 HDFS 上的催收样本数据（CSV/Parquet），确认无乱码。
• 简单聚合测试： 执行 groupBy 和 count 操作，观察 Spark UI 中 Stage 和 Task 分布是否均匀。
• 内存稳定性测试： 连续提交 3 次催收跑批任务，观察 Executor 是否出现 OOM 或频繁 Full GC。