2. 评分接口核心指标：延迟、吞吐量、P99延迟、资源消耗的定义与测量方法

在可解释AI评分接口的性能调优中，准确理解并测量核心指标是第一步。延迟、吞吐量、P99延迟与资源消耗共同构成了性能评估的四维坐标系。任何单一指标的优化都可能导致其他指标恶化，因此需要建立全局视角。

2.1 核心指标定义与业务含义

2.2 延迟的测量方法

延迟测量需要区分客户端视角和服务端视角。客户端延迟包含网络往返时间（RTT），服务端延迟仅包含请求处理时间。

2.2.1 服务端延迟测量

// 使用中间件记录每个请求的处理时间（Go语言示例）
func LatencyMiddleware(next http.Handler) http.Handler {
    return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        start := time.Now()
        next.ServeHTTP(w, r)
        duration := time.Since(start)
        // 将延迟数据推送到指标收集系统
        metrics.ObserveLatency("score_api", duration.Seconds())
        // 日志记录
        log.Printf("[LATENCY] %s %s %v", r.Method, r.URL.Path, duration)
    })
}

2.2.2 客户端延迟测量

# 使用curl测量总延迟（包含网络）
curl -o /dev/null -s -w "Total Time: %{time_total}s\n" \
  -H "Content-Type: application/json" \
  -d '{"features": [0.1, 0.2, 0.3]}' \
  http://localhost:8080/score

2.3 吞吐量的测量方法

吞吐量通常以每秒请求数（QPS）或每秒事务数（TPS）表示。测量时需注意：

• 稳态测量： 系统预热后，在恒定并发下持续运行至少60秒，取平均值
• 并发梯度： 从低并发（如10）逐步增加到高并发（如500），观察吞吐量变化曲线
• 错误排除： 只统计HTTP 200/成功的响应，排除超时和错误请求

# 使用wrk进行吞吐量测量
wrk -t12 -c100 -d60s --latency \
  -s post.lua \
  http://localhost:8080/score

# post.lua 内容
wrk.method = "POST"
wrk.body = '{"features": [0.1, 0.2, 0.3]}'
wrk.headers["Content-Type"] = "application/json"

2.4 P99延迟的测量与计算

P99延迟是衡量系统稳定性的黄金指标。计算P99需要收集足够多的样本（通常 > 1000个），并按升序排序后取第99%位置的值。

2.4.1 精确计算 vs 近似计算

// 使用HDR Histogram计算P99（Java示例）
import org.HdrHistogram.Histogram;

Histogram histogram = new Histogram(3); // 3位有效数字
// 记录10000个延迟样本
for (int i = 0; i < 10000; i++) {
    histogram.recordValue(latencyMicros);
}
// 输出P99
System.out.println("P99: " + histogram.getValueAtPercentile(99.0) + " μs");

2.5 资源消耗的测量方法

资源消耗测量需要区分进程级和系统级两个维度。

2.5.1 关键资源指标

• CPU使用率： 用户态（user）、内核态（sys）、等待IO（iowait）
• 内存使用： RSS（常驻内存）、VSZ（虚拟内存）、堆内存/非堆内存
• 网络IO： 入站流量、出站流量、连接数、重传率
• 磁盘IO： 读写延迟、IOPS、磁盘利用率

2.5.2 常用测量工具

2.6 指标关联分析：四维性能模型

四个指标并非孤立存在，它们构成了一个相互影响的系统。下图展示了评分接口在负载增加时的典型性能演化路径。

2.7 测量最佳实践与避坑指南

2.7.1 测量环境要求

• 隔离测试： 在独立环境进行压测，避免与其他服务争抢资源
• 预热阶段： 至少运行30秒预热，等待JIT编译、缓存填充完成
• 持续时长： 正式测试至少持续5分钟，观察指标是否稳定
• 多轮取中： 重复测试3次以上，取中位数结果，排除偶然因素

2.7.2 常见测量错误