3. 性能瓶颈分析：CPU、内存、磁盘IO、网络带宽的常见瓶颈识别方法

在 Prometheus 监控体系中，性能瓶颈的识别是调优的前提。本章聚焦于四大核心资源——CPU、内存、磁盘 IO 和网络带宽，结合 Prometheus 的指标采集与查询特性，系统性地讲解如何通过关键指标、告警规则和可视化面板快速定位瓶颈。

3.1 CPU 瓶颈识别

CPU 瓶颈通常表现为用户态/内核态使用率持续高位、上下文切换频繁或运行队列堆积。Prometheus 通过 node_cpu_seconds_total 和 node_load* 系列指标暴露 CPU 状态。

3.1.1 关键指标与阈值

3.1.2 典型查询与告警规则

# CPU 使用率（排除 idle 和 iowait）
100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

# 上下文切换速率
rate(node_context_switches_total[5m])

# 告警规则：CPU 使用率过高
- alert: HighCpuUsage
  expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "Instance {{ $labels.instance }} CPU usage > 80%"

3.2 内存瓶颈识别

内存瓶颈主要体现为可用内存不足、交换分区（swap）频繁使用或 OOM Killer 触发。Prometheus 的 node_memory_* 指标族提供了详细的内存分布数据。

3.2.1 关键指标与阈值

3.2.2 典型查询与告警规则

# 内存使用率（基于可用内存）
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

# Swap 使用率
(node_memory_SwapTotal_bytes - node_memory_SwapFree_bytes) / node_memory_SwapTotal_bytes * 100

# 告警规则：可用内存不足
- alert: LowMemory
  expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100 < 10
  for: 2m
  labels:
    severity: critical
  annotations:
    summary: "Instance {{ $labels.instance }} available memory < 10%"

3.3 磁盘 IO 瓶颈识别

磁盘 IO 瓶颈通常表现为 IO 等待时间（iowait）升高、磁盘队列深度过大或吞吐量达到硬件上限。Prometheus 通过 node_disk_* 指标暴露磁盘性能数据。

3.3.1 关键指标与阈值

3.3.2 典型查询与告警规则

# 磁盘 IO 使用率（基于 IO 时间占比）
rate(node_disk_io_time_seconds_total[5m]) * 100

# 平均 IO 延迟（毫秒）
rate(node_disk_io_time_weighted_seconds_total[5m]) / rate(node_disk_io_time_seconds_total[5m]) * 1000

# 告警规则：磁盘 IO 延迟过高
- alert: HighDiskIOLatency
  expr: (rate(node_disk_io_time_weighted_seconds_total[5m]) / rate(node_disk_io_time_seconds_total[5m]) * 1000) > 100
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "Instance {{ $labels.instance }} disk IO latency > 100ms"

3.4 网络带宽瓶颈识别

网络瓶颈通常表现为带宽利用率过高、丢包率上升或 TCP 重传率异常。Prometheus 的 node_network_* 指标提供了网络接口的流量和错误数据。

3.4.1 关键指标与阈值

3.4.2 典型查询与告警规则

# 网络带宽利用率（假设网卡带宽为 1Gbps）
rate(node_network_receive_bytes_total[5m]) * 8 / 1e9 * 100

# TCP 重传率
rate(node_netstat_Tcp_RetransSegs[5m]) / rate(node_netstat_Tcp_OutSegs[5m]) * 100

# 告警规则：网络丢包率过高
- alert: HighNetworkDropRate
  expr: rate(node_network_receive_drop_total[5m]) / rate(node_network_receive_packets_total[5m]) * 100 > 0.1
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "Instance {{ $labels.instance }} network receive drop rate > 0.1%"

3.5 瓶颈识别综合流程图

以下 SVG 图展示了从指标采集到瓶颈定位的完整流程，涵盖四大资源的交叉验证方法。

3.6 瓶颈识别速查表

以下表格汇总了四大资源瓶颈的典型表现、核心 PromQL 和应对方向，便于日常运维快速参考。