2. Flink 开发环境搭建：JDK、Maven、Flink 集群安装与配置、本地开发环境初始化

实时风控特征工程对环境的稳定性与版本一致性要求极高。本章将指导你从零搭建一套可用于生产级 Flink 开发的完整环境，涵盖 JDK、Maven、Flink 集群及 IDE 初始化。所有步骤均经过风控场景验证，避免因环境差异导致的特征计算偏差。

2.1 环境版本选型与兼容性矩阵

在风控场景中，Flink 通常与 Kafka、HBase、Redis 等组件深度集成。下表列出了经测试的稳定版本组合，建议严格遵循以避免序列化或状态后端兼容问题。

2.2 JDK 安装与配置

Flink 依赖 JAVA_HOME 环境变量。以下步骤以 Linux (CentOS 7) 为例，Windows/Mac 可类比操作。

1. 下载 JDK 8：从 Oracle 或 Adoptium 获取 jdk-8u202-linux-x64.tar.gz。
2. 解压至指定目录：

tar -zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local/
mv /usr/local/jdk1.8.0_202 /usr/local/java

3. 配置环境变量：编辑 /etc/profile，追加：

export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4. 生效并验证：

source /etc/profile
java -version
# 输出应包含：java version "1.8.0_202"

2.3 Maven 安装与国内镜像配置

Maven 用于管理 Flink 项目依赖。风控特征工程通常涉及大量第三方依赖（如 Alink、Flink-ML、自定义 UDF），必须配置国内镜像加速。

1. 下载 Maven：

wget https://dlcdn.apache.org/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /usr/local/
mv /usr/local/apache-maven-3.6.3 /usr/local/maven

2. 配置环境变量：

export MAVEN_HOME=/usr/local/maven
export PATH=$MAVEN_HOME/bin:$PATH

3. 配置阿里云镜像：编辑 $MAVEN_HOME/conf/settings.xml，在 <mirrors> 内添加：

<mirror>
  <id>aliyunmaven</id>
  <mirrorOf>central</mirrorOf>
  <name>阿里云公共仓库</name>
  <url>https://maven.aliyun.com/repository/public</url>
</mirror>

4. 验证：

mvn -version
# 输出应包含：Apache Maven 3.6.3

2.4 Flink 集群安装与配置

Flink 支持 Standalone、YARN、Kubernetes 三种部署模式。在风控特征工程开发阶段，Standalone 模式 最适合本地调试与快速验证。下面以 Flink 1.14.6 为例。

2.4.1 下载与解压

wget https://archive.apache.org/dist/flink/flink-1.14.6/flink-1.14.6-bin-scala_2.12.tgz
tar -zxvf flink-1.14.6-bin-scala_2.12.tgz -C /usr/local/
mv /usr/local/flink-1.14.6 /usr/local/flink

2.4.2 核心配置项

编辑 /usr/local/flink/conf/flink-conf.yaml，针对风控场景做以下调整：

2.4.3 启动集群

# 启动 Standalone 集群
/usr/local/flink/bin/start-cluster.sh

# 验证进程
jps
# 应看到：StandaloneSessionClusterEntrypoint (JobManager)
#         TaskManagerRunner (TaskManager)

# 访问 Web UI
# http://localhost:8081

2.5 本地开发环境初始化

使用 IntelliJ IDEA 创建 Flink 风控项目骨架，并配置 Maven 依赖。

2.5.1 创建 Maven 项目

在 IDEA 中选择 File → New → Project → Maven，不勾选 "Create from archetype"。项目结构如下：

flink-credit-risk/
├── pom.xml
├── src/
│   ├── main/
│   │   ├── java/
│   │   │   └── com/risk/feature/
│   │   │       ├── source/          # 风控数据源（Kafka、Socket）
│   │   │       ├── function/        # 特征函数（UDF、聚合）
│   │   │       ├── model/           # 特征实体
│   │   │       └── job/             # 作业入口
│   │   └── resources/
│   │       └── application.properties
│   └── test/
│       └── java/

2.5.2 pom.xml 核心依赖

以下为风控特征工程最简依赖配置：

<properties>
    <flink.version>1.14.6</flink.version>
    <scala.binary.version>2.12</scala.binary.version>
</properties>

<dependencies>
    <!-- Flink Streaming Java -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>

    <!-- Flink 客户端 (用于本地执行) -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>

    <!-- Flink Table API (用于特征 SQL) -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>

    <!-- RocksDB 状态后端 -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-statebackend-rocksdb_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <!-- 日志 (风控场景必须控制日志级别) -->
    <dependency>
        <groupId>ch.qos.logback</groupId>
        <artifactId>logback-classic</artifactId>
        <version>1.2.11</version>
    </dependency>
</dependencies>

2.5.3 第一个风控特征作业骨架

创建 com.risk.feature.job.RiskFeatureJob：

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.datastream.DataStream;

public class RiskFeatureJob {
    public static void main(String[] args) throws Exception {
        // 1. 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2. 设置并行度（风控场景建议与 Task Slot 数一致）
        env.setParallelism(2);

        // 3. 启用 RocksDB 状态后端
        env.setStateBackend(new EmbeddedRocksDBStateBackend());

        // 4. 设置 Checkpoint (风控特征必须开启)
        env.enableCheckpointing(60000); // 60秒一次

        // 5. 数据源与特征逻辑（后续章节实现）
        // DataStream<TransactionEvent> source = ...

        // 6. 执行
        env.execute("Flink Credit Risk Feature Pipeline");
    }
}

2.6 环境验证与常见问题

完成上述步骤后，执行以下验证清单：

• JDK 验证：java -version 输出 1.8.0_202
• Maven 验证：mvn -version 输出 3.6.3
• Flink 集群验证：访问 http://localhost:8081 看到 Web UI
• 项目编译验证：在项目根目录执行 mvn clean package -DskipTests，输出 BUILD SUCCESS
• 本地运行验证：IDEA 中右键运行 RiskFeatureJob，控制台无异常，Web UI 出现作业

2.7 开发环境架构总览

下图展示了本地开发环境各组件之间的协作关系：