3. Spark SQL 环境搭建：集群安装配置、Hive 集成与开发 IDE 准备

在金融图谱样本偏差校验场景中，Spark SQL 环境需要兼顾离线批处理（Hive 数仓）与实时交互分析（Spark Thrift Server）。本节从集群安装、Hive 集成、IDE 配置三个层面搭建生产级环境，确保后续章节的样本抽取、偏差计算、分布对比能够稳定运行。

3.1 集群硬件与软件版本选型

金融风控场景对数据一致性要求高，推荐使用 CDH 或 HDP 发行版，或基于 Apache 社区版自行编译。以下为经过校验场景验证的版本组合：

3.2 Spark 集群安装与配置

以 3 节点集群为例（1 个 Master + 2 个 Worker），安装步骤如下：

1. 解压 Spark 安装包 到 /opt/spark，配置 SPARK_HOME 环境变量。
2. 修改 conf/spark-env.sh，设置 Java 路径、Master 地址、Worker 内存与核数。
3. 修改 conf/workers，添加 Worker 节点主机名。
4. 分发配置 到所有节点，启动 Master 与 Worker。

# spark-env.sh 核心配置示例
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_MASTER_HOST=node01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=16g
export SPARK_DAEMON_MEMORY=2g
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node01:8020/spark-logs"

3.3 Spark SQL 与 Hive 集成

金融图谱的样本表通常存储在 Hive 中，Spark SQL 通过 HiveCatalog 直接读取 Hive 表结构，无需重复建表。集成配置分为两步：

3.3.1 拷贝 Hive 配置文件

将 Hive 的 hive-site.xml、core-site.xml、hdfs-site.xml 拷贝到 $SPARK_HOME/conf/ 目录下。关键配置项如下：

3.3.2 启动 Spark Thrift Server（STS）

STS 提供 JDBC/ODBC 接口，支持 BI 工具与自定义客户端直接提交 SQL。启动命令：

$SPARK_HOME/sbin/start-thriftserver.sh \
  --master yarn \
  --deploy-mode client \
  --driver-memory 4g \
  --executor-memory 8g \
  --executor-cores 4 \
  --num-executors 10 \
  --conf spark.sql.hive.thriftServer.singleSession=true

3.4 开发 IDE 准备

推荐使用 IntelliJ IDEA + Scala 插件进行 Spark SQL 开发。项目构建工具选择 Maven 或 sbt，以下为 Maven 的 pom.xml 核心依赖：

<dependencies>
    <!-- Spark SQL 核心 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.12</artifactId>
        <version>3.2.0</version>
        <scope>provided</scope>
    </dependency>
    <!-- Hive 集成 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.12</artifactId>
        <version>3.2.0</version>
        <scope>provided</scope>
    </dependency>
    <!-- 测试框架 -->
    <dependency>
        <groupId>org.scalatest</groupId>
        <artifactId>scalatest_2.12</artifactId>
        <version>3.2.10</version>
        <scope>test</scope>
    </dependency>
</dependencies>

3.5 环境验证：Spark SQL 读取 Hive 表

启动 spark-sql 命令行或通过 JDBC 连接 STS，执行以下 SQL 验证集成是否成功：

-- 查看 Hive 中的数据库
SHOW DATABASES;

-- 切换到金融样本库
USE financial_sample;

-- 查看样本表结构
DESCRIBE extended loan_apply_sample;

-- 执行简单聚合，验证 Spark SQL 引擎
SELECT 
    source_system,
    COUNT(*) AS record_cnt,
    AVG(loan_amount) AS avg_loan
FROM loan_apply_sample
GROUP BY source_system;

若返回正常结果，说明 Spark SQL 已成功集成 Hive Metastore，可以读取 Hive 表并利用 Spark 的分布式计算引擎进行样本偏差校验。

3.6 环境架构总览

下图展示了 Spark SQL 与 Hive 集成后的整体架构，以及开发 IDE 在其中的位置：

3.7 常见问题与避坑