📚 课程目录第3章压测环境搭建与配置

3. 压测环境搭建与配置：基于Docker的分布式压测集群部署，网络与资源隔离策略

分布式压测集群的搭建是后端性能测试的基础设施保障。本章围绕 Docker 容器化部署、多节点编排、网络隔离 与 资源配额控制 四个核心维度，构建可复用的压测环境模板。所有配置均以 docker-compose.yml 与 Dockerfile 为交付物，确保环境一致性。

3.1 分布式压测集群架构

集群采用 Controller-Worker 主从模型：Controller 负责任务分发、结果聚合与实时监控；Worker 节点执行并发请求，每个 Worker 运行在独立容器中。架构图如下：

3.2 Docker 镜像构建与容器编排

基于 JMeter 作为压测引擎，构建自定义 Docker 镜像，统一 JDK 版本、插件集与启动脚本。以下为 Dockerfile 核心内容：

FROM eclipse-temurin:11-jre-alpine
LABEL maintainer="perf-team@company.com"

ENV JMETER_VERSION=5.6.2 \
    JMETER_HOME=/opt/apache-jmeter-5.6.2 \
    JMETER_PLUGINS_MANAGER_VERSION=1.9

# 下载并解压 JMeter
RUN wget -q https://archive.apache.org/dist/jmeter/binaries/apache-jmeter-${JMETER_VERSION}.tgz \
    -O /tmp/jmeter.tgz \
    && tar -xzf /tmp/jmeter.tgz -C /opt/ \
    && rm /tmp/jmeter.tgz

# 安装插件管理器及常用插件
RUN wget -q https://repo1.maven.org/maven2/kg/apc/jmeter-plugins-manager/${JMETER_PLUGINS_MANAGER_VERSION}/jmeter-plugins-manager-${JMETER_PLUGINS_MANAGER_VERSION}.jar \
    -O ${JMETER_HOME}/lib/ext/jmeter-plugins-manager.jar \
    && java -cp ${JMETER_HOME}/lib/ext/jmeter-plugins-manager.jar org.jmeterplugins.repository.PluginManagerCMDInstaller

# 暴露端口（Controller 监听端口）
EXPOSE 1099 50000

# 默认启动命令由 docker-compose 覆盖
CMD ["jmeter", "--version"]

docker-compose.yml 编排 Controller 与 Worker 集群：

version: '3.8'

services:
  controller:
    build: .
    container_name: jmeter-controller
    ports:
      - "1099:1099"
      - "50000:50000"
    volumes:
      - ./test-plans:/opt/test-plans
      - ./reports:/opt/reports
    environment:
      - JVM_ARGS=-Xms1g -Xmx2g
    networks:
      - perf-net
    command: jmeter -s -Dserver.rmi.localport=50000 -Dserver_port=1099

  worker-1:
    build: .
    container_name: jmeter-worker-1
    depends_on:
      - controller
    volumes:
      - ./test-plans:/opt/test-plans
    environment:
      - JVM_ARGS=-Xms512m -Xmx1g
    networks:
      - perf-net
    command: jmeter -n -Dserver.rmi.ssl.disable=true -Djava.rmi.server.hostname=controller -t /opt/test-plans/benchmark.jmx -R controller:1099

  worker-2:
    build: .
    container_name: jmeter-worker-2
    depends_on:
      - controller
    volumes:
      - ./test-plans:/opt/test-plans
    environment:
      - JVM_ARGS=-Xms512m -Xmx1g
    networks:
      - perf-net
    command: jmeter -n -Dserver.rmi.ssl.disable=true -Djava.rmi.server.hostname=controller -t /opt/test-plans/benchmark.jmx -R controller:1099

networks:
  perf-net:
    driver: bridge
    ipam:
      config:
        - subnet: 172.20.0.0/16

实践要点： 生产环境中建议将 Worker 数量扩展至 5~20 个，每个 Worker 分配 1~2 核 CPU 与 1~2GB 内存。Controller 节点资源应不低于 4 核 8GB，避免成为瓶颈。

3.3 网络隔离策略

压测集群必须与生产环境、开发环境严格隔离，同时 Worker 节点之间应避免广播风暴。采用 多级网络隔离 方案：

隔离层级	实现方式	作用范围	推荐配置
Docker 网络	自定义 bridge 网络 + 子网划分	集群内部通信	`subnet: 172.20.0.0/16`
主机防火墙	iptables / firewalld 限制入站规则	宿主机层面	仅允许 Controller 端口对外暴露
VLAN / VxLAN	物理网络隔离（多租户场景）	跨宿主机集群	VLAN ID 100~200 专用
服务网格	Sidecar 代理 + mTLS（可选）	加密通信与流量控制	Istio / Linkerd 按需启用

以下为 网络隔离拓扑 示意：

3.4 资源隔离与配额控制

使用 Docker 的 cgroup 资源限制 确保每个 Worker 容器不会抢占宿主机全部资源，避免压测过程中节点间相互干扰。关键参数如下：

资源类型	Docker 参数	推荐值（单 Worker）	说明
CPU	`--cpus`	1.0 ~ 2.0	限制容器可使用的 CPU 核数（含超线程）
内存	`--memory`	1g ~ 2g	硬限制，超过则触发 OOM Kill
内存 + Swap	`--memory-swap`	2g ~ 4g	内存 + Swap 总和上限
磁盘 I/O	`--device-read-bps` / `--device-write-bps`	100mb / 50mb	限制日志与结果写入速率
网络带宽	`--network` + tc 或 Docker 网络插件	100Mbps ~ 1Gbps	避免压测流量打满宿主机网卡

在 docker-compose.yml 中集成资源限制：

worker-1:
  build: .
  deploy:
    resources:
      limits:
        cpus: '1.5'
        memory: 1.5g
      reservations:
        cpus: '0.5'
        memory: 512m
  # 其余配置同上

避坑提示： 不要将 --memory-swap 设置为与 --memory 相同，否则容器在内存不足时无法使用 Swap，极易触发 OOM。建议 --memory-swap 为 --memory 的 1.5~2 倍。

3.5 环境验证与启动流程

部署完成后，按以下步骤验证集群可用性：

构建镜像：docker-compose build，确认无编译错误。
启动集群：docker-compose up -d，观察容器状态。
检查网络连通性：进入 Worker 容器 docker exec -it jmeter-worker-1 sh，执行 ping controller 确认可达。
验证 RMI 注册：在 Controller 容器内执行 netstat -anp | grep 1099，确认端口监听。
执行冒烟测试：使用最小线程数（1 线程，1 循环）运行简单脚本，确认结果正常回传。
监控资源使用：docker stats 实时查看 CPU、内存、网络 I/O。

  生产级建议： 将上述验证步骤写入 Makefile 或 Shell 脚本，实现一键部署与健康检查。例如 make deploy 执行构建+启动+验证，make clean 销毁集群。

3.6 常见问题与排查

现象	可能原因	解决方案
Worker 无法连接 Controller	RMI 端口未暴露或防火墙拦截	检查 `ports` 映射与宿主机防火墙规则
容器频繁 OOM	内存限制过小或 JVM 堆过大	调整 `JVM_ARGS` 中 `-Xmx` 值，确保小于容器内存限制
压测结果延迟高	网络带宽限制或 Worker 资源不足	增加 Worker 数量或提升单 Worker 的 CPU/内存配额
Controller 端出现大量超时	消息队列积压或 Worker 响应慢	检查 Redis/RabbitMQ 性能，或改用直连模式

通过以上配置，团队可在 10 分钟内拉起一套包含 3~10 个 Worker 的分布式压测集群，并确保网络与资源层面的严格隔离，为后续压测用例执行提供稳定、可复现的基础设施。