4. 实验环境搭建：Spark集群部署与配置调优

反洗钱对照实验对计算环境的稳定性、资源隔离性和数据吞吐量有极高要求。本章将围绕Spark集群的两种主流部署模式（Standalone与YARN），详细讲解环境搭建步骤、核心配置参数调优策略以及依赖管理工具（Maven/SBT）的工程化实践，为后续实验提供坚实的底层支撑。

4.1 部署模式对比：Standalone vs YARN

两种模式在资源调度、多租户支持和运维复杂度上存在显著差异。下表从反洗钱实验的典型场景出发进行对比：

4.2 集群部署步骤（以YARN模式为例）

以下步骤基于三节点集群（1台Master + 2台Worker）进行说明，反洗钱实验环境建议至少扩展至5~10个Worker节点。

1. 基础环境配置： 所有节点关闭防火墙、配置SSH免密登录、同步NTP时间、设置主机名与hosts映射。
2. JDK与Scala安装： 统一安装JDK 1.8（推荐Oracle JDK或OpenJDK 11），配置JAVA_HOME环境变量；Scala 2.12.15用于编译Spark源码或编写UDF。
3. Hadoop集群部署： 配置HDFS（NameNode + DataNode）和YARN（ResourceManager + NodeManager），核心配置文件包括 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml。
4. Spark二进制包安装： 下载预编译的Spark包（如 spark-3.2.4-bin-hadoop3.3.tgz），解压至统一目录，配置 spark-env.sh 和 spark-defaults.conf。
5. 历史服务器配置： 启动Spark History Server，用于记录和查看已完成应用的运行日志，便于对照实验复盘。
6. 验证部署： 提交测试任务 spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster examples/jars/spark-examples_2.12-3.2.4.jar 100。

4.3 核心配置参数调优

反洗钱对照实验涉及大量数据扫描、聚合和图计算，参数调优直接影响实验结果的时效性和资源利用率。以下参数需根据数据量和集群规模重点调整：

4.4 依赖管理：Maven与SBT工程化实践

反洗钱对照实验通常需要引入外部依赖，如图计算库（GraphX）、机器学习库（MLlib）、自定义UDF包以及数据源连接器（如Kafka、JDBC）。使用构建工具统一管理依赖版本，避免“依赖地狱”。

4.4.1 Maven 配置示例（pom.xml）

<properties>
    <spark.version>3.2.4</spark.version>
    <scala.binary.version>2.12</scala.binary.version>
</properties>

<dependencies>
    <!-- Spark Core -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    <!-- Spark SQL -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    <!-- 反洗钱自定义UDF依赖 -->
    <dependency>
        <groupId>com.aml</groupId>
        <artifactId>aml-udf-library</artifactId>
        <version>1.0.0</version>
    </dependency>
</dependencies>

4.4.2 SBT 配置示例（build.sbt）

name := "aml-experiment"
version := "1.0"
scalaVersion := "2.12.15"

val sparkVersion = "3.2.4"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-sql" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-graphx" % sparkVersion % "provided",
  "com.aml" % "aml-udf-library" % "1.0.0"
)

// 打包时排除provided依赖
assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}

4.5 环境验证与对照实验基线

完成部署和调优后，需运行一组基准测试，建立对照实验的性能基线。推荐使用以下三类测试：

• 吞吐量测试： 使用 spark-submit 运行TPC-DS基准查询（如q1~q10），记录每个查询的执行时间。
• 稳定性测试： 连续运行24小时的反洗钱模拟数据流（如每秒1000笔交易），观察任务失败率和GC停顿时间。
• 资源隔离测试： 在YARN模式下同时提交两个实验任务，验证队列资源限制是否生效，防止任务间互相干扰。