1. 延迟基础概念

1.1 什么是 API 延迟

API 延迟（Latency）是指从客户端发起请求到收到完整响应所经历的总时间。在分布式系统中，延迟是衡量 API 服务质量最直接的指标之一，直接影响用户体验和系统可用性。

延迟由多个环节累积而成，典型的 API 请求生命周期包括以下阶段：

• 网络传输延迟：数据包在客户端与服务器之间往返的时间（RTT）。
• 排队延迟：请求在负载均衡器、线程池或消息队列中等待处理的时间。
• 处理延迟：服务器端业务逻辑、数据库查询、外部服务调用等实际计算时间。
• 序列化/反序列化延迟：数据格式转换（JSON/Protobuf）消耗的 CPU 时间。

1.2 延迟与吞吐量的关系

延迟（Latency）和吞吐量（Throughput）是衡量系统性能的两个核心指标，二者相互影响、相互制约。理解它们的关系是 API 优化的重要基础。

延迟与吞吐量的典型关系曲线：

• 线性区：系统负载较低时，延迟保持稳定，吞吐量随并发线性增长。
• 拐点区：当系统资源（CPU、内存、连接池）接近饱和时，延迟开始缓慢上升。
• 饱和区：资源耗尽后，延迟急剧飙升，吞吐量反而下降（队列堆积、超时重试）。

1.3 延迟的度量单位

API 延迟的度量单位根据系统规模和场景不同而有所差异。选择合适的度量单位有助于精确描述和诊断问题。

实际生产环境中，延迟度量通常采用以下统计方式：

• 平均延迟（Avg）：所有请求延迟的算术平均值，容易受极端值影响。
• 百分位延迟（P50/P95/P99）：P50 表示 50% 的请求延迟低于该值，P99 表示 99% 的请求延迟低于该值。P99 是衡量尾部延迟的关键指标。
• 最大延迟（Max）：最慢请求的延迟，通常用于发现异常尖刺。