4. 延迟指标详解：P50/P90/P99延迟的含义、高并发下延迟分布特征、延迟异常检测难点

4.1 延迟百分位数的核心含义

延迟（Latency）是衡量系统响应速度的关键指标。在高并发系统中，仅关注平均延迟（Avg Latency）会掩盖长尾问题。因此，业界普遍采用百分位数（Percentile）来描述延迟分布。

4.2 高并发下延迟分布特征

在低并发场景下，延迟分布通常接近正态分布。但在高并发（>1000 QPS/核）下，延迟分布会呈现明显的“长尾”和“多峰”特征。

高并发下延迟分布的主要特征包括：

• 多峰现象： 由于不同资源（CPU、IO、锁）的争抢，延迟分布可能出现多个峰值。例如，一次GC暂停导致一批请求延迟集体升高。
• 非线性增长： 当系统负载超过某个临界点（如CPU > 80%），P99延迟会呈指数级上升，而非线性增长。
• 抖动（Jitter）： 高并发下，即使是微小的调度延迟（如内核抢占、网络重传），也会在P99上放大。

4.3 延迟异常检测的三大难点

在高并发系统中，检测延迟异常远比检测错误率或流量异常困难。以下是三个核心难点：

4.4 延迟检测的常见陷阱与应对策略

4.5 延迟异常检测的推荐实践

1. 分层监控： 分别监控客户端延迟、网络延迟、服务端延迟、数据库延迟、缓存延迟，定位瓶颈。
2. 多维度聚合： 按接口、机房、版本、用户类型等维度分别计算P99，避免全局指标掩盖局部问题。
3. 动态基线算法： 使用EWMA（指数加权移动平均）或周期性分解（STL）建立延迟基线，检测偏离程度。
4. 异常传播追踪： 结合分布式追踪（如Jaeger、Zipkin），当P99升高时自动采样慢调用链，定位根因。
5. 预计算直方图： 在应用层预计算延迟直方图（如Prometheus Histogram），避免中心化聚合带来的计算压力。