1. 延迟基础概念

延迟（Latency）是API网关性能诊断中最核心的度量指标之一。它衡量的是从请求发出到收到完整响应之间所经历的时间间隔。在微服务架构中，每一次API调用都会经过网关的路由、认证、限流、协议转换等多个环节，每个环节都会贡献一定的延迟。

1.1 延迟与吞吐量的关系

延迟和吞吐量（Throughput）是描述系统性能的两个基本维度，但二者并非独立。理解它们的关系是性能调优的前提。

在API网关场景中，当吞吐量接近系统上限时，请求会在网关内部排队，导致延迟急剧上升。这种现象称为“延迟拐点”。性能工程的目标之一，就是在保证延迟SLA的前提下，最大化吞吐量。

1.2 延迟对用户体验的影响

延迟直接决定用户对系统“快”或“慢”的主观感受。研究表明，延迟对用户行为有明确的量化影响：

• 100ms 以内：用户感觉“即时响应”，操作流畅无感知。
• 100ms – 300ms：用户能感知到轻微延迟，但通常不影响操作连续性。
• 300ms – 1s：用户明显感到“卡顿”，注意力开始分散。
• 1s – 3s：用户可能中断操作，跳出率显著上升。
• 超过 3s：大部分用户会放弃请求，直接流失。

1.3 延迟的常见度量单位

在API网关性能工程中，延迟的度量粒度决定了诊断的精度。不同层级的延迟需要使用不同的单位：

在API网关的延迟诊断中，毫秒（ms）是最常用的单位。网关内部各环节的延迟通常在 0.1ms 到 50ms 之间。当需要分析网络协议栈或内核级瓶颈时，才会进入微秒（μs）级别。

1.4 延迟的构成分解

在API网关中，一次完整的请求延迟可以分解为以下几个组成部分：

1. 网络传输延迟：数据包在客户端与网关之间、网关与后端服务之间传输的时间。受物理距离、带宽、网络拥塞影响。
2. 排队延迟：请求在网关内部队列中等待被处理的时间。当并发请求超过网关处理能力时，排队延迟会急剧增加。
3. 处理延迟：网关执行路由匹配、身份认证、限流检查、协议转换、日志记录等逻辑所消耗的CPU时间。
4. 后端服务延迟：网关将请求转发给上游服务后，等待服务响应的时间。这是整个链路中通常占比最大的部分。
5. 序列化/反序列化延迟：网关在解析请求体、构造响应体时，对数据进行编解码所花费的时间。