4. 开发环境搭建：JDK、Scala、Spark集群、Maven/Gradle配置、IDE设置

贷后预警系统对实时性和稳定性要求极高，开发环境的版本一致性是避免“本地能跑、集群报错”的第一道防线。本节将按依赖顺序，逐一搭建 JDK、Scala、Spark 集群、构建工具及 IDE，并给出经过生产验证的版本组合。

4.1 版本选型与兼容性矩阵

Spark Streaming 与 Scala、JDK 存在严格的二进制兼容关系。下表列出 Spark 3.x 主流版本的推荐配套，请根据实际集群版本选择其中一行。

4.2 JDK 安装与配置

以 JDK 11（LTS）为例，所有节点需保持相同大版本。

1. 下载与解压：从 Oracle 或 Adoptium 获取 jdk-11.0.20_linux-x64_bin.tar.gz，解压至 /usr/local/jdk-11.0.20。
2. 配置环境变量：编辑 /etc/profile 或 ~/.bashrc，添加：

export JAVA_HOME=/usr/local/jdk-11.0.20
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3. 验证：执行 java -version，输出应包含 OpenJDK 64-Bit Server VM (build 11.0.20+8, mixed mode)。

4.3 Scala 安装

Spark 自身已捆绑 Scala 运行时库，但开发机仍需安装 Scala 编译器用于本地编译和测试。

1. 下载：从 Scala 官网获取 scala-2.12.18.tgz，解压至 /opt/scala-2.12.18。
2. 环境变量：

export SCALA_HOME=/opt/scala-2.12.18
export PATH=$SCALA_HOME/bin:$PATH

3. 验证：scala -version 应显示 Scala code runner version 2.12.18。

4.4 Spark 集群搭建（Standalone 模式）

贷后预警开发阶段推荐使用 Standalone 模式，部署简单且能模拟资源调度。以下为 3 节点集群（1 Master + 2 Worker）的搭建步骤。

1. 下载 Spark：spark-3.3.2-bin-hadoop3.tgz，解压至 /opt/spark。
2. 配置 spark-env.sh：

export JAVA_HOME=/usr/local/jdk-11.0.20
export SPARK_MASTER_HOST=192.168.1.10
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=8g
export SPARK_DAEMON_MEMORY=2g
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=/tmp/spark-events"

3. 配置 workers：在 conf/workers 中列出 Worker 节点 IP：

192.168.1.11
192.168.1.12

4. 启动集群：

cd /opt/spark/sbin
./start-master.sh
./start-workers.sh

5. 验证：浏览器访问 http://192.168.1.10:8080，应看到 1 个 Master 和 2 个 Worker 状态为 ALIVE。

4.5 Maven / Gradle 配置

贷后预警项目通常为多模块工程，包含 spark-streaming、risk-engine、alert-dispatch 等子模块。以下分别给出 Maven 和 Gradle 的核心配置。

4.5.1 Maven pom.xml 核心依赖

<properties>
    <spark.version>3.3.2</spark.version>
    <scala.version>2.12.18</scala.version>
    <scala.binary.version>2.12</scala.binary.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming-kafka-0-10_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
    </dependency>
</dependencies>

4.5.2 Gradle build.gradle 核心配置

plugins {
    id 'scala'
    id 'com.github.johnrengelman.shadow' version '7.1.2'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation "org.apache.spark:spark-streaming_2.12:3.3.2"
    implementation "org.apache.spark:spark-sql_2.12:3.3.2"
    implementation "org.apache.spark:spark-streaming-kafka-0-10_2.12:3.3.2"
}

shadowJar {
    zip64 true
    mergeServiceFiles()
    exclude 'META-INF/*.RSA', 'META-INF/*.SF', 'META-INF/*.DSA'
}

4.6 IDE 设置（IntelliJ IDEA）

IntelliJ IDEA 是 Scala/Spark 开发的事实标准 IDE。以下为关键配置步骤。

4.7 环境验证清单

完成上述配置后，执行以下命令确认环境就绪：

# 1. JDK 版本
java -version

# 2. Scala 版本
scala -version

# 3. Spark 集群状态
curl http://192.168.1.10:8080

# 4. 提交测试任务（本地模式）
spark-submit --master local[2] --class org.apache.spark.examples.SparkPi \
  /opt/spark/examples/jars/spark-examples_2.12-3.3.2.jar 10

# 5. 提交测试任务（集群模式）
spark-submit --master spark://192.168.1.10:7077 \
  --class org.apache.spark.examples.SparkPi \
  /opt/spark/examples/jars/spark-examples_2.12-3.3.2.jar 10