第2章 环境搭建：Flink集群部署模式与核心配置

说实话，很多做实时流处理的朋友，上来就急着写代码。但我要说，环境搭不好，后面全是坑。我自己带团队时，第一件事就是让大家把集群部署搞清楚。这一章，咱们就聊聊Flink的三种部署模式，以及那些你不得不关注的核心参数。

2.1 Flink集群部署模式选型

Flink支持三种主流部署模式：Standalone、YARN和Kubernetes。选哪个？说白了，看你的基础设施和运维能力。

部署模式 适用场景 资源管理 运维复杂度
Standalone 开发测试、小规模集群 Flink自带 低
YARN 已有Hadoop生态 YARN ResourceManager 中
Kubernetes 容器化、云原生 K8s Scheduler 高

我的建议：生产环境优先选YARN或K8s。Standalone模式虽然简单，但资源隔离差，我在项目中遇到过Job互相抢资源导致OOM的情况，嗯，从那以后我再也不敢在生产用Standalone了。

2.2 Standalone模式部署

Standalone模式是最直接的。你只需要一个Flink安装包，解压，启动就行。但别小看它，开发环境用它调试非常方便。

部署步骤

  1. 下载Flink二进制包并解压
  2. 配置conf/flink-conf.yaml
  3. 启动集群：./bin/start-cluster.sh
  4. 访问Web UI：http://localhost:8081
# flink-conf.yaml 核心配置示例
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 2

小技巧：我个人习惯在开发环境把taskmanager.numberOfTaskSlots设成CPU核心数，这样能充分利用本地资源做调试。

2.3 YARN模式部署

YARN模式是生产环境最常见的。Flink作为YARN的一个Application运行，资源由YARN统一管理。你想想看，如果你的公司已经有Hadoop集群，用YARN模式几乎零成本接入。

两种运行方式

  • Session模式：先启动一个Flink集群，然后提交Job。适合多个小Job共享资源。
  • Per-Job模式：每个Job启动一个独立的Flink集群。适合大Job，资源隔离好。
# 提交Job到YARN（Per-Job模式）
./bin/flink run -m yarn-cluster \
    -yjm 1024 \
    -ytm 2048 \
    -ys 2 \
    -p 4 \
    ./examples/streaming/WordCount.jar

注意：我曾经在YARN模式下踩过一个坑——yarn.scheduler.maximum-allocation-mb设得太小，导致TaskManager启动失败。记得检查YARN的资源配置，确保TaskManager的内存请求不超过这个上限。

2.4 Kubernetes模式部署

K8s模式是未来的趋势。Flink原生支持K8s，你可以用flink-kubernetes-operator来管理。我个人觉得，如果你团队有K8s运维能力，这是首选。

# 使用Flink Operator部署
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: my-flink-job
spec:
  image: flink:1.17
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "4"
    parallelism.default: "4"
  jobManager:
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "4096m"
      cpu: 2

2.5 核心配置参数解析

配置参数是性能调优的起点。我见过太多人直接抄默认配置，结果线上出问题。下面这几个参数，你必须吃透。

参数名 默认值 说明 调优建议
jobmanager.memory.process.size 1600m JobManager总内存 根据Job数量调整，一般2-4G
taskmanager.memory.process.size 1728m TaskManager总内存 建议8-32G，看数据量
taskmanager.numberOfTaskSlots 1 每个TaskManager的Slot数 建议等于CPU核心数
parallelism.default 1 默认并行度 根据数据量和资源调整
state.backend filesystem 状态后端类型 生产用RocksDB
state.checkpoints.dir 无 Checkpoint存储路径 必须配置，用HDFS

核心原则：内存配置要留余量。我一般给TaskManager多配20%的内存，用于网络缓冲和系统开销。别把内存算得太死，否则GC会让你头疼。

2.6 日志与监控初始化

日志和监控是运维的眼睛。没有它们，你就像在黑暗中开车。我个人习惯在部署集群的第一时间就把监控搭好。

日志配置

Flink使用Log4j 2作为日志框架。默认配置在conf/log4j.properties中。我建议做两件事：

  • 开启滚动日志，避免单个日志文件过大
  • 将ERROR级别日志单独输出到一个文件
# log4j.properties 优化配置
log4j.rootLogger=INFO, file, errorfile

# 滚动日志
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=${log.file}
log4j.appender.file.MaxFileSize=100MB
log4j.appender.file.MaxBackupIndex=10

# 错误日志单独输出
log4j.appender.errorfile=org.apache.log4j.RollingFileAppender
log4j.appender.errorfile.File=${log.file}.error
log4j.appender.errorfile.Threshold=ERROR

监控初始化

Flink内置了Metrics系统，支持多种Reporter。我最常用的是Prometheus + Grafana组合。

# flink-conf.yaml 中开启Prometheus Reporter
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter
metrics.reporter.prom.port: 9250

监控指标重点：我建议重点关注这几个指标——numRecordsInPerSecond、currentLowWatermark、numberOfFailedCheckpoints。它们能直接反映Job的健康状况。

2.7 部署架构总览

下面这张图，是我自己总结的Flink部署架构。它把三种模式的核心组件和关系都画出来了。你仔细看看，能帮你建立全局视角。

Flink集群部署架构总览 用户提交Job 部署模式选择 Standalone JobManager + TaskManager YARN ResourceManager + NodeManager Kubernetes Pod + Service + Operator 核心配置：内存 / Slot / 并行度 / 状态后端 / Checkpoint 日志与监控：Log4j + Prometheus + Grafana 说明：三种部署模式共享核心配置和监控体系，差异主要在资源管理层

2.8 环境验证

部署完成后，一定要做验证。我习惯跑一个简单的WordCount Job，确认集群正常工作。

# 提交测试Job
./bin/flink run -m localhost:8081 ./examples/streaming/WordCount.jar

# 查看Job状态
curl http://localhost:8081/jobs/overview

避坑指南：我曾经在验证时发现Job一直处于RUNNING状态但没输出。后来发现是并行度设得太大，而数据源分区数太少，导致部分Task空闲。记得检查数据源分区和并行度的匹配关系。

好了，环境搭建这部分就到这里。记住，好的开始是成功的一半。把集群部署和配置搞扎实，后面的性能调优才能有的放矢。

← 上一章 📖 返回目录 下一章 →