2. 延迟优化的基本概念与核心指标

搞接口延迟优化，第一件事不是急着改代码。你得先弄清楚：到底哪些指标在衡量“慢”？如果连指标都定义不清楚，优化就成了盲人摸象。我入行前三年犯过这个错——把一个接口从3秒压到500ms，结果TP99根本没变，因为真正的瓶颈被忽略了。所以，咱们先把概念和指标夯实。

2.1 延迟（Latency）

延迟，说白了就是”发请求到收响应之间的时间差“。单位通常用毫秒（ms）表示。你点了个按钮，过了2秒才看到结果；这2秒就是用户体验上的延迟。

但在审计接口场景里，延迟要拆得更细：

• 网络延迟：数据包在客户端和服务端之间传输的时间。我曾经遇到一个客户，审计报表始终超时，排查到最后发现是跨地域专线丢包。
• 处理延迟：服务端接收请求、计算、查询数据库、执行审计逻辑所花的时间。
• 排队延迟：请求到达时线程池或连接池满了，在队列里等待的时间。

记住一点：延迟是单个请求的视角。分析时不要只看平均，要关注分布。

2.2 吞吐量（Throughput）

吞吐量是服务端视角的指标——单位时间内能处理多少个请求。常见单位：QPS（每秒查询数）、TPS（每秒事务数）。

延迟和吞吐量是一对冤家。你想想看：如果服务端想提高吞吐量，往往会增加并发线程数，但线程多了上下文切换成本上升，单个请求的延迟反而可能涨。反之，刻意降低并发减少排队，延迟降了，吞吐量却上不去。

审计接口的吞吐量优化，我强烈建议用Little's Law来估算合理范围：

L = λ × W
- L：系统中同时处理的请求数（并发数）
- λ：吞吐量（请求/秒）
- W：平均响应时间（秒）

举个例子：你的审计接口平均响应时间是200ms，目标并发数是100，那理论上吞吐量就是100 / 0.2 = 500 QPS。如果实测吞吐量远低于这个值，说明有阻塞点。

2.3 响应时间（Response Time）

响应时间大家都不陌生。但要注意：它和延迟是近义词，范围略有不同。延迟通常指服务端内部耗时，响应时间则包含客户端到服务端完整的往返时间（RTT）。

响应时间一般拆成两部分：

1. 服务时间（Service Time）：CPU真正干活的时间。
2. 等待时间（Wait Time）：在队列里等待、I/O等待、锁等待的时间。

审计接口最容易踩的坑是“异步处理导致响应时间抖动”。例如，某个审计规则需要查多个历史表，如果某张表刚好在做全表扫描，那这次请求的响应时间就会暴涨。我建议对响应时间做分位数监控，而不是只看平均值——平均值会被极端值拉偏，但分位数能反映真实感受。

2.4 TP99 与其它百分位指标

TP99（也叫P99）是95后工程师最该关心的指标。它表示：把所有请求的响应时间从小到大排序，排在第99%位置的数值。也就是说，99%的请求比这个值快，只有1%的请求比它慢。

为什么要看百分位？我给你讲个真实场景。

指标	含义	审计接口建议阈值
TP50 (P50)	中位数，一半请求比它快	≤ 200 ms
TP90 (P90)	90%的请求比它快	≤ 500 ms
TP99 (P99)	99%的请求比它快，1%慢于它	≤ 1 s
TP999 (P999)	99.9%的请求比它快	≤ 3 s（可选）

你可能会问：“为什么不用平均值？” 我举个例子。假设审计接口有100个请求，99个耗时100ms，1个耗时10秒。平均值是 (99×100+10000)/100 ≈ 199ms —— 看起来还不错？但99%的用户体验是100ms，只有1个人要等10秒。平均值掩盖了那个倒霉用户的痛苦。而TP99是10秒，能直观地告诉你“最慢的1%用户有多难受”。

2.5 核心指标关系图

下面这张SVG图把延迟、吞吐量、响应时间、百分位指标串起来，帮你快速建立整体认知。

2.6 如何设计指标监控策略

概念说完了，落到实操上。我建议你按照优先级做三层指标：

1. 红层（必保）：TP99 < 1s，P90 < 500ms。审计接口一旦超时会影响下游结算，必须盯死。
2. 黄层（预警）：平均延迟与P50趋势。如果P50持续上涨，说明整体系统在变慢，即使TP99还没炸。
3. 绿层（调优参考）：吞吐量利用率、服务时间 vs 等待时间比例。这块用于排查优化方向。

另一个容易被忽视的点是：指标的时间粒度。我见过有人用5分钟平均TP99来报警，结果突发尖峰被平均抹平了。建议1分钟粒度的百分位统计 + 实时Trace采样。

2.7 避坑清单

• 不要只优化平均值：你可能把平均响应时间从300ms降到100ms，但TP99还是2s。平均值是表象，分位数才是真相。
• 吞吐量和延迟不能同时优化：先明确你的场景是“用户交互优先”还是“吞吐量优先”。审计接口一般是批量，吞吐量优先级更高；但如果是对账接口，TP99更重要。
• 注意冷启动和预热：我第一次压测审计接口，前10分钟延迟正常，突然TP99跳到了5s。查了半天是连接池懒加载导致的——每次第一次请求才创建连接。所以，指标采集要排除预热阶段的数据。