第2章 缓存耗时异常现象识别

缓存耗时异常不会凭空出现，它总是以一组可观测的“症状”浮现在监控屏上。本章围绕四种最典型的异常现象——响应延迟波动、吞吐量下降、缓存命中率骤降、业务超时，建立从现象到根因的完整排查链路。全章按照“现象识别 → 数据采集 → 原因定位 → 修复动作 → 复测 → 预防”展开，每一阶段都配有可直接落地的排查工具与判断标准。

2.1 四种典型异常现象速览

下表从观测窗口、典型指标、第一怀疑对象三个维度快速定义四种现象，帮助你在收到告警时立即完成初步归类。

2.2 现象识别决策树

下图以“缓存耗时异常”为起点，根据四个可定量判断的问题分支，引导你快速识别当前属于哪种现象，并直接给出下一阶段的数据采集建议。

2.3 数据采集方法与 Trace 命令

确认现象归属后，立即执行对应的数据采集。以下是四种现象的标准采集命令与日志示例。

2.3.1 响应延迟波动 → 采集 Trace 延迟分布

# 使用 perf-trace 采集 60 秒缓存调用栈
perf-trace record -e cache:redis_get -ag -- sleep 60

# 输出延迟分布直方图
perf-trace report --sort=delay --percent-limit=1

# 实时查看 p99/p50 延迟
redis-cli --latency -h <cache_host> -p 6379

2.3.2 吞吐量下降 → 采集 QPS 与线程池

# 缓存服务端 QPS 监控
redis-cli info stats | grep instantaneous_ops_per_sec

# 应用端线程池活跃数
jstack <pid> | grep "pool-" | awk '{print $2,$5}' | sort | uniq -c

# 采集 5 分钟 QPS 曲线
sar -n TCP 1 300 > /tmp/tcp_qps.log

2.3.3 命中率骤降 → 采集 Key 过期与穿透

# 缓存命中率
redis-cli info stats | grep keyspace_hits
redis-cli info stats | grep keyspace_misses

# 过期 Key 分布（抽样）
redis-cli --bigkeys -i 0.1

# Trace 穿透请求
strace -e trace=network -p <cache_pid> -o /tmp/cache_trace.log

# 查看当前过期 Key 数量
redis-cli info keyspace | grep -E "keys=|expires="

2.3.4 业务超时 → 采集超时日志与堆栈

# 应用端超时日志（典型格式）
tail -f /var/log/app/error.log | grep "TimeoutException"

# 缓存客户端超时堆栈
jstack -l <pid> | grep -A 20 "redis.clients.jedis.exceptions.JedisConnectionException"

# 网络往返延迟
ping -c 100 <cache_host> | tail -3

2.4 原因定位排查表

将采集到的数据与下表对照，快速定位根因。表中列出了每种现象最常见的前三位根因及判断规则。