3. 压测环境准备：硬件选型建议、操作系统参数调优、JDK与Kafka版本选择

压测环境的准备是Kafka实时流压力测试的基石。一个配置不当的环境，轻则导致测试结果失真，重则引发集群崩溃。本章从硬件选型、操作系统调优、JDK与Kafka版本选择三个维度，给出可落地的准备指南。

3.1 硬件选型建议

Kafka的性能瓶颈通常不在CPU，而在磁盘I/O、网络带宽和内存。以下选型建议基于百万级消息/秒的吞吐目标。

3.2 操作系统参数调优

操作系统默认参数面向通用场景，压测Kafka时必须针对性调整。以下调优基于CentOS 7/8或Ubuntu 20.04+。

3.2.1 文件句柄与进程限制

Kafka Broker和压测客户端（如kafka-producer-perf-test.sh）会打开大量文件句柄（每个分区对应一个日志段文件）。

# 临时生效
ulimit -n 1000000
ulimit -u 65535

# 永久生效（/etc/security/limits.conf）
* soft nofile 1000000
* hard nofile 1000000
* soft nproc 65535
* hard nproc 65535

# 验证
ulimit -a | grep -E 'open files|max user processes'

3.2.2 网络参数调优

Kafka使用TCP长连接传输数据，网络参数直接影响吞吐和延迟。

# 一键应用（追加到 /etc/sysctl.conf 后执行 sysctl -p）
cat <<EOF >> /etc/sysctl.conf
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_sack = 0
net.ipv4.tcp_low_latency = 1
EOF
sysctl -p

3.2.3 磁盘调度与挂载参数

Kafka依赖磁盘顺序写入，调度策略和挂载选项直接影响写入延迟。

• 调度器： NVMe SSD 使用 none（或 noop），SATA SSD 使用 deadline。
• 挂载选项： 使用 noatime,nodiratime 减少元数据写入；文件系统推荐 XFS 或 ext4。

# 查看当前调度器
cat /sys/block/nvme0n1/queue/scheduler

# 临时修改
echo none > /sys/block/nvme0n1/queue/scheduler

# 永久修改（grub 或 udev 规则）
# /etc/default/grub 中添加 elevator=noop
# 或创建 /etc/udev/rules.d/60-iosched.rules
ACTION=="add|change", KERNEL=="nvme[0-9]*", ATTR{queue/scheduler}="none"

3.3 JDK与Kafka版本选择

版本选择直接影响压测结果的代表性和可复现性。以下给出当前（2025年）推荐组合。

3.4 压测环境架构总览

下图展示了一个标准的Kafka压测环境拓扑，包含硬件层、OS层、中间件层和压测工具层的关系。

3.5 压测环境验证清单

在开始正式压测前，逐项确认以下环境准备项：

1. 硬件确认： 使用 lscpu、free -h、lsblk、ethtool 确认CPU、内存、磁盘、网卡符合选型标准。
2. OS参数生效： 执行 ulimit -n 确认文件句柄为1000000；执行 sysctl net.core.somaxconn 确认网络参数。
3. 磁盘性能基线： 使用 fio 测试顺序写性能，确保 ≥ 1.5 GB/s（NVMe SSD典型值）。
4. 网络延迟与带宽： 使用 iperf3 测试压测客户端到Broker的TCP吞吐，确保 ≥ 9 Gbps（万兆网络）。
5. JDK版本确认： java -version 确认为JDK 17+，GC日志参数已配置（如 -Xlog:gc*）。
6. Kafka版本确认： kafka-broker-api-versions.sh --bootstrap-server localhost:9092 确认Broker版本。