📚 课程目录第4章测试环境搭建

4. 测试环境搭建：集群规划、硬件选型、操作系统调优、网络配置

压力测试环境的搭建质量直接决定测试结果的真实性与可复现性。本章从集群规模规划、硬件选型、操作系统内核调优、网络配置四个维度，给出面向 Flink 实时计算压力测试的标准化搭建方案。

4.1 集群规划原则

Flink 压力测试集群通常采用 主从架构，建议至少包含 1 台 JobManager 节点和 3 台以上 TaskManager 节点。集群规模需根据目标吞吐量、状态大小、并行度等因素综合估算。

节点角色	推荐数量	核心职责	压力测试关注点
JobManager	1 ~ 3（HA 模式）	作业调度、Checkpoint 协调、元数据管理	RPC 处理能力、堆内存 GC 频率
TaskManager	3 ~ 20+	数据计算、状态维护、网络 Shuffle	CPU 利用率、内存分配、磁盘 I/O
数据源节点	2 ~ 5	模拟 Kafka/Pulsar 生产端压力	发送速率稳定性、网络带宽
监控节点	1	部署 Prometheus + Grafana + Flink Metrics	指标采集对集群的侵入性

规划建议： 压力测试集群应与生产环境保持硬件代际一致，避免因 CPU 指令集差异导致性能偏差。若无法完全一致，至少保证 CPU 主频、内存通道数、网卡型号相同。

4.2 硬件选型参考

Flink 是 CPU 密集型 + 内存敏感型计算引擎，硬件选型需优先保障 CPU 单核性能和内存带宽。

硬件维度	最低配置	推荐配置	选型理由
CPU	8 核 2.0 GHz	32 核 2.8 GHz+（Intel Xeon / AMD EPYC）	高主频降低算子延迟，多核支撑高并行度
内存	32 GB	128 GB ~ 256 GB	状态后端（RocksDB）和网络缓冲区均需大内存
磁盘	1 TB HDD	2 TB NVMe SSD × 2（RAID 0）	RocksDB 本地状态读写、大 Checkpoint 落盘
网卡	1 Gbps	25 Gbps ~ 100 Gbps	Shuffle 阶段网络带宽是常见瓶颈
内存通道	2 通道	8 通道	高带宽支撑 RocksDB 缓存命中率

避坑提示： 避免使用云上“突发性能实例”或“共享 vCPU”机型进行压力测试，其 CPU 积分机制会导致测试结果剧烈抖动，无法复现。

4.3 操作系统调优

操作系统层面需针对 Flink 的 网络通信、文件系统、内存管理 进行专项调优。以下为 CentOS 7.9 / Ubuntu 22.04 通用配置。

4.3.1 内核参数调整

# /etc/sysctl.conf 追加以下配置

# 网络优化：增大 TCP 缓冲区
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728

# 启用 TCP BBR 拥塞控制
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

# 文件系统：增大文件句柄上限
fs.file-max = 2097152

# 虚拟内存：降低 swap 倾向
vm.swappiness = 1

# 网络连接：缩短 TIME_WAIT 回收
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_tw_reuse = 1

# 生效
sysctl -p

4.3.2 文件系统与磁盘挂载

RocksDB 状态后端对磁盘延迟极其敏感，建议使用 XFS 文件系统并关闭 atime 更新。

# 挂载选项示例（/etc/fstab）
/dev/nvme0n1 /data xfs defaults,noatime,nodiratime,allocsize=1m 0 0

# 预读扇区调大（适用于顺序读写场景）
blockdev --setra 4096 /dev/nvme0n1

4.3.3 进程资源限制

# /etc/security/limits.conf 追加
flinkuser soft nofile 1048576
flinkuser hard nofile 1048576
flinkuser soft nproc 65536
flinkuser hard nproc 65536

调优验证： 使用 sysctl net.ipv4.tcp_congestion_control 确认 BBR 已启用；使用 ulimit -n 确认文件句柄限制已生效。建议在压测前运行 iperf3 验证节点间 TCP 吞吐量是否达到网卡线速。

4.4 网络配置

Flink 在 Shuffle 和 Checkpoint 阶段会产生大量跨节点数据交换，网络配置不当会直接成为压测瓶颈。

4.4.1 网络拓扑与 IP 分配

建议所有 TaskManager 节点处于同一二层网络（同网段），避免跨三层路由引入额外延迟。使用独立管理网段与数据网段分离。

4.4.2 Flink 网络缓冲区配置

在 flink-conf.yaml 中针对压测场景调整网络缓冲区参数：

# 网络缓冲区大小（默认 32KB，压测建议 64KB）
taskmanager.memory.segment-size: 65536

# 网络缓冲区数量（根据堆外内存总量计算）
taskmanager.memory.network.min: 256mb
taskmanager.memory.network.max: 1024mb

# 连接超时与重试
taskmanager.network.request-backoff.initial: 100
taskmanager.network.request-backoff.max: 10000

# 启用精确一次语义时，增大数据交换缓冲区
taskmanager.network.memory.buffers-per-channel: 4

4.4.3 网卡多队列与 RPS 配置

多核 CPU 场景下，需将网卡中断均匀分布到所有核心，避免单核软中断过载。

# 查看网卡队列数
ethtool -l eth0

# 设置最大队列数（以 eth0 为例）
ethtool -L eth0 combined 8

# 启用 RPS（Receive Packet Steering）
echo ffffffff > /sys/class/net/eth0/queues/rx-0/rps_cpus

# 增大 ring buffer
ethtool -G eth0 rx 4096 tx 4096

压测前必做： 使用 sar -n DEV 1 监控网卡软中断分布，若某个 CPU 核心的 %soft 超过 30%，说明中断分配不均，需调整 RPS 或使用 XDP 加速。

4.5 环境验证清单

搭建完成后，建议按以下清单逐项验证，确保环境符合压测要求。

验证项	验证方法	通过标准
CPU 性能	`sysbench cpu run`	单核事件数偏差 < 5%
内存带宽	`stream` 基准测试	带宽达到硬件理论值 80% 以上
磁盘顺序读写	`fio --rw=write --bs=1M --size=10G`	NVMe SSD > 2 GB/s
磁盘随机读写	`fio --rw=randrw --bs=4k --size=10G`	IOPS > 500k
网络延迟	`ping -c 100 -i 0.01`	平均延迟 < 0.2 ms
网络吞吐	`iperf3 -c <peer> -t 30 -P 8`	达到网卡线速 90% 以上
文件句柄限制	`ulimit -n`	> 1048576
BBR 拥塞控制	`sysctl net.ipv4.tcp_congestion_control`	输出 bbr

最佳实践： 将上述验证步骤编写为自动化脚本（如 Ansible Playbook），每次压测前执行一次，确保环境基线一致。环境差异是压测结果不可复现的首要原因。