3. 性能基准测试：使用 wrk/locust 进行接口压测，建立基线

在优化延迟之前，必须建立可量化的性能基线。本章将指导你使用 wrk（轻量级 HTTP 压测工具）和 Locust（分布式负载测试框架）对模型评分接口进行压测，并记录关键指标作为后续优化的参照基准。

3.1 为什么需要性能基线

没有基线，优化就是盲目的。基线提供了三个核心价值：

• 量化起点：明确当前接口的 P50/P95/P99 延迟、吞吐量（RPS）和错误率。
• 回归检测：每次代码变更后，通过对比基线判断是否引入性能退化。
• 容量规划：根据基线数据推算单机承载能力，为扩缩容提供依据。

3.2 工具选型对比

3.3 使用 wrk 建立快速基线

wrk 适合在开发环境快速验证接口性能。以下命令对评分接口进行 30 秒压测，使用 8 个线程、64 个连接：

wrk -t8 -c64 -d30s --latency \
  http://localhost:8080/v1/score \
  -s post.lua

其中 post.lua 脚本内容如下：

wrk.method = "POST"
wrk.body   = '{"features": [0.1, 0.2, 0.3, 0.4, 0.5]}'
wrk.headers["Content-Type"] = "application/json"

典型输出示例：

Latency Distribution (HdrHistogram - Recorded Latency)
 50.000%    8.12ms
 75.000%   12.45ms
 90.000%   18.76ms
 99.000%   34.21ms
 99.900%   52.80ms

Requests/sec:  1245.67
Transfer/sec:  1.23MB

3.4 使用 Locust 进行场景化压测

Locust 通过 Python 脚本定义用户行为，适合模拟真实调用模式。以下脚本模拟 100 个用户以 10 的生成率启动，持续 5 分钟：

from locust import HttpUser, task, between
import json

class ScoreUser(HttpUser):
    wait_time = between(0.5, 2.0)

    @task(3)
    def score_normal(self):
        payload = {"features": [0.1]*10}
        self.client.post("/v1/score",
                         json=payload,
                         headers={"Content-Type": "application/json"})

    @task(1)
    def score_batch(self):
        payload = {"instances": [[0.1]*10 for _ in range(5)]}
        self.client.post("/v1/score_batch",
                         json=payload,
                         headers={"Content-Type": "application/json"})

启动命令：

locust -f locustfile.py --host=http://localhost:8080 \
  --users=100 --spawn-rate=10 --run-time=5m \
  --headless --csv=baseline_report

生成的 baseline_report_stats.csv 包含每个时间点的平均响应时间、RPS 和失败率，可直接导入图表工具。

3.5 基线记录模板

每次压测后，将以下信息记录到基线文档中：

3.6 压测流程与基线建立步骤

1. 环境准备：确保服务独立部署，关闭日志输出、监控采集等干扰项。
2. 预热：先发送 1000 个请求，让 JIT 编译和缓存达到稳态。
3. 正式压测：使用 wrk 获取延迟分布，使用 Locust 获取场景化吞吐量。
4. 数据收集：保存 wrk 的 HdrHistogram 输出和 Locust 的 CSV 报告。
5. 基线归档：将结果存入 perf/baseline/ 目录，并更新 README。

3.7 基线建立流程示意图

下图展示了从环境准备到基线归档的完整流程：

3.8 基线对比与异常判定

建立基线后，后续每次优化迭代都应重新压测并与基线对比。以下表格给出异常判定阈值：