4. Flink环境搭建：单机、集群与开发环境

本章聚焦高频行情场景下Flink运行环境的完整搭建流程，涵盖单机调试、集群部署、资源调度器集成以及本地开发环境配置。掌握这些基础环境后，后续章节的灰度发布管道与实时计算作业才能顺利落地。

4.1 Flink单机模式部署

单机模式主要用于功能验证与本地调试，不依赖外部资源管理器。以下步骤基于Flink 1.17.x版本。

1. 下载与解压：从Apache官网下载二进制包，解压至目标目录。
2. 启动集群：执行 ./bin/start-cluster.sh，默认启动一个JobManager和一个TaskManager。
3. 验证：访问 http://localhost:8081 查看Web UI。
4. 提交测试任务：./bin/flink run ./examples/streaming/WordCount.jar

# 单机模式默认配置
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 1

4.2 Flink集群模式部署（Standalone）

Standalone集群适用于中小规模生产环境，不依赖YARN或K8s。架构包含一个Master节点（JobManager）和多个Worker节点（TaskManager）。

部署步骤：

• 在所有节点解压Flink安装包。
• 在Master节点配置 conf/masters 文件，写入Master主机名。
• 在Master节点配置 conf/workers 文件，写入所有Worker主机名。
• 将配置同步至所有Worker节点。
• 在Master节点执行 ./bin/start-cluster.sh 启动集群。

4.3 Flink on YARN 配置

在Hadoop集群中，Flink可以借助YARN进行资源管理与容器化调度。支持三种部署模式：

关键配置示例（flink-conf.yaml）：

# YARN 模式基础配置
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha
yarn.application.name: HighFreq-Trading-Pipeline
yarn.application.priority: 5
taskmanager.numberOfTaskSlots: 8
yarn.containers.vcores: 4
yarn.containers.memory: 8192

提交命令示例（Per-Job模式）：

./bin/flink run -m yarn-cluster \
  -yjm 2048 -ytm 4096 \
  -ys 4 \
  -p 8 \
  -c com.hft.MarketDataProcessor \
  ./target/market-data-pipeline.jar

4.4 Flink on Kubernetes 配置

Kubernetes是高频行情场景下推荐的部署方式，支持快速弹性伸缩与滚动升级。Flink提供两种集成模式：

• Native Kubernetes：Flink直接调用K8s API创建Pod，无需额外Operator。
• Flink Kubernetes Operator：通过CRD管理Flink集群生命周期，支持自动扩缩容、Savepoint恢复。

Native K8s Session集群启动示例：

# 配置 Docker 镜像与 ServiceAccount
./bin/kubernetes-session.sh \
  -Dkubernetes.cluster-id=hft-flink-session \
  -Dkubernetes.container.image=myregistry/flink:1.17.0 \
  -Dkubernetes.service.account=flink \
  -Dtaskmanager.numberOfTaskSlots=4 \
  -Dkubernetes.jobmanager.cpu=1 \
  -Dkubernetes.taskmanager.cpu=2 \
  -Dkubernetes.taskmanager.memory=4096m

Operator模式部署（推荐生产）：

# 部署 Operator
helm repo add flink-operator https://apache.github.io/flink-kubernetes-operator
helm install flink-operator flink-operator/flink-kubernetes-operator

# 提交 FlinkDeployment CR
kubectl apply -f - <<EOF
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: hft-market-data
spec:
  image: myregistry/flink:1.17.0
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "8"
    parallelism.default: "16"
    high-availability: org.apache.flink.kubernetes.highavailability.KubernetesHaServicesFactory
  serviceAccount: flink
  jobManager:
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "4096m"
      cpu: 2
EOF

4.5 开发环境搭建（IDEA + Maven）

本地开发环境是编写与调试Flink作业的基础。推荐使用IntelliJ IDEA + Maven + Flink Quickstart Archetype。

步骤清单：

1. 安装JDK 11+：Flink 1.17要求JDK 11或17。
2. 安装Maven 3.8+：配置阿里云镜像加速依赖下载。
3. 创建Flink项目：使用官方Archetype生成骨架。

mvn archetype:generate \
  -DarchetypeGroupId=org.apache.flink \
  -DarchetypeArtifactId=flink-quickstart-java \
  -DarchetypeVersion=1.17.0 \
  -DgroupId=com.hft \
  -DartifactId=hft-market-data \
  -Dversion=1.0-SNAPSHOT \
  -Dpackage=com.hft.processor \
  -DinteractiveMode=false

4. 导入IDEA：File → New → Project from Existing Sources → 选择pom.xml。
5. 配置Flink依赖：在pom.xml中添加高频行情常用依赖。

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka</artifactId>
        <version>3.0.0-1.17</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-statebackend-rocksdb</artifactId>
        <version>${flink.version}</version>
    </dependency>
</dependencies>

6. 配置本地运行：在IDEA Run Configuration中设置 program arguments 和 VM options，直接运行main方法进行调试。

4.6 环境对比与选型建议