4. 关键性能指标：采集延迟、样本丢弃率、内存占用、CPU使用率、网络带宽

在 Prometheus 采集作业的性能基准测试与压测中，必须围绕五个核心维度建立量化评估体系。这五项指标直接决定了采集作业的稳定性、资源效率与数据完整性。以下逐一拆解其定义、测量方法与典型阈值。

4.1 指标全景与测量维度

4.2 采集延迟：端到端时延分解

采集延迟并非单一数值，而是由多个子阶段串联而成。压测时必须分别测量每个阶段的耗时，才能精准定位瓶颈。

1. DNS 解析延迟 —— 目标地址解析时间，通常 < 5ms。
2. TCP 连接建立延迟 —— 三次握手耗时，受网络质量影响。
3. HTTP 请求/响应延迟 —— 服务端处理 /metrics 端点的时间。
4. 样本解析与标签处理延迟 —— Prometheus 解析 text format 并构建样本的时间。
5. 样本写入 WAL 与 TSDB 延迟 —— 持久化写入时间。

4.3 样本丢弃率：数据完整性的红线

样本丢弃率是压测中最重要的止损指标。当系统过载时，Prometheus 会优先丢弃样本以保护自身稳定性。丢弃率超过 0.1% 即视为压测失败。

• 丢弃原因分类：
  • scrape_timeout —— 采集超时，目标响应过慢。
  • sample_limit —— 单次采集样本数超过配置上限。
  • queue_full —— 远程写入队列已满，丢弃样本。
  • wal_corruption —— WAL 写入失败导致样本丢失。
• 测量方法： 使用 prometheus_target_scrapes_sample_out_of_order_total 和 prometheus_remote_storage_samples_dropped_total 计算丢弃率。
• 计算公式： 丢弃率 = (丢弃样本数 / 总采集样本数) × 100%

4.4 内存占用：GC 压力与 RSS 增长趋势

Prometheus 的内存占用主要由以下部分组成：

压测方法： 使用 process_resident_memory_bytes 和 go_memstats_heap_inuse_bytes 监控内存趋势。在 30 分钟持续压测中，若 RSS 增长超过 20% 且未收敛，则存在内存泄漏风险。

4.5 CPU 使用率：核心瓶颈识别

CPU 使用率应分解到具体模块，而非只看整体百分比。压测时使用 process_cpu_seconds_total 配合 rate() 计算每秒 CPU 时间消耗。

• 采集模块 CPU —— 解析 /metrics 端点、构建样本。
• 存储模块 CPU —— 压缩、索引、WAL 写入。
• 查询模块 CPU —— 处理 PromQL 查询请求。
• 远程写入 CPU —— 序列化、压缩、发送数据。

4.6 网络带宽：被忽视的隐性瓶颈

网络带宽消耗主要来自两个方向：

1. 下行带宽 —— 从 targets 拉取 /metrics 数据。
2. 上行带宽 —— 远程写入到 Thanos / Cortex / Mimir 等长期存储。

测量指标：

• node_network_receive_bytes_total —— 下行流量。
• node_network_transmit_bytes_total —— 上行流量。
• prometheus_remote_storage_sent_bytes_total —— 远程写入发送字节数。

4.7 五项指标联动分析：性能拐点判定

在压测过程中，单一指标超标往往不是孤立事件。以下表格总结了常见的联动异常模式：