3. 系统性能度量：常用性能测试工具与延迟基准测试设计

在低延迟评分通道的构建中，度量是优化的前提。没有精确的度量，任何调优都是盲目的。本章聚焦于如何选择合适的性能测试工具、设计科学的延迟基准测试，并正确解读测试结果，从而为系统优化提供可靠的数据支撑。

3.1 常用性能测试工具对比

业界主流的性能测试工具各有侧重，适用于不同的测试场景。下表从协议支持、并发模型、延迟统计和适用场景四个维度进行对比，帮助你快速选型。

3.2 如何设计延迟基准测试

设计一个有效的延迟基准测试，需要遵循以下五个步骤，确保测试结果具有可重复性和可比性。

1. 定义测试目标：明确要测量的延迟类型（如P50、P99、P999），以及可接受的延迟阈值（例如：P99 < 10ms）。
2. 隔离测试环境：确保被测服务独占资源，避免网络抖动、其他进程干扰。使用独立的压测机，与被测服务在同一内网。
3. 设计负载模型：从低并发开始（如1个连接），逐步增加并发数（如10、50、100、200），观察延迟随吞吐量的变化曲线。
4. 预热与稳定期：正式测试前进行30-60秒预热，让JIT编译、连接池等达到稳定状态。正式测试持续至少60秒，采集稳定期数据。
5. 记录环境参数：记录压测机配置、被测服务配置、网络拓扑、测试时间、工具版本等，确保结果可复现。

3.3 延迟基准测试结果解读

解读测试结果时，需要关注以下关键指标，并理解它们之间的关系。

• 吞吐量（Requests/sec）：系统每秒处理的请求数。通常与延迟呈反比关系。
• 延迟百分位（Latency Percentiles）：P50（中位数）、P90、P99、P999。P99表示99%的请求延迟低于该值，是衡量系统尾部延迟的关键指标。
• 延迟分布（Latency Distribution）：观察延迟是否集中在某个区间，是否存在长尾。
• 错误率（Error Rate）：超时、连接拒绝等错误的比例。高错误率通常意味着系统过载。

以下是一个典型的 wrk 测试输出示例，以及如何解读它：

Running 60s test @ http://localhost:8080/score
  12 threads and 100 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     8.52ms    3.21ms  45.67ms   78.23%
    Req/Sec     1.23k   150.32     1.89k    72.45%
  Latency Distribution (HdrHistogram - recorded)
   50.000%    7.89ms
   75.000%   10.23ms
   90.000%   12.56ms
   99.000%   18.34ms
   99.900%   28.91ms
   99.990%   40.12ms
  73542 requests in 60.00s, 1.02GB read
Requests/sec:   1225.70
Transfer/sec:     17.42MB

3.4 延迟基准测试流程架构

下图展示了延迟基准测试的典型架构，包括压测机、被测服务、监控组件和数据采集流程。

3.5 使用 wrk 进行延迟基准测试实战

以下是一个使用 wrk 对评分通道进行延迟基准测试的完整示例，包含脚本编写和结果解读。

# 1. 安装 wrk（macOS）
brew install wrk

# 2. 编写 Lua 脚本（custom.lua），用于自定义请求
wrk.method = "POST"
wrk.body   = '{"user_id": 12345, "item_id": 67890}'
wrk.headers["Content-Type"] = "application/json"

# 3. 执行压测命令
wrk -t12 -c100 -d60s --latency -s custom.lua http://localhost:8080/score

# 参数说明：
# -t12: 12个线程
# -c100: 100个并发连接
# -d60s: 持续60秒
# --latency: 打印详细的延迟分布
# -s custom.lua: 指定自定义脚本

3.6 结果解读与优化决策

基于测试结果，可以做出以下优化决策：