3. MTTR复盘数据采集：如何利用Prometheus自监控指标采集复盘所需的时间戳与状态变化

存储瓶颈的MTTR复盘，核心在于精确还原故障时间线。Prometheus自身暴露的prometheus_tsdb_*系列指标，是获取存储层状态变化与时间戳的第一手数据源。本节将系统讲解如何利用这些自监控指标，构建复盘所需的数据采集框架。

3.1 复盘数据采集的核心指标清单

以下表格列出了MTTR复盘必须采集的prometheus_tsdb_*关键指标，以及它们对应的复盘用途：

3.2 时间戳与状态变化的采集方法

复盘需要精确到秒级的时间戳。Prometheus自监控指标本身带有时间戳，但我们需要通过以下方法提取和记录状态变化的时间点：

3.2.1 利用timestamp()函数捕获变化时刻

在PromQL中，timestamp()函数可以返回样本的时间戳（Unix时间戳，秒级）。结合changes()函数，可以检测指标值发生变化的精确时间点：

# 检测prometheus_tsdb_head_series在最近5分钟内是否发生变化
changes(prometheus_tsdb_head_series[5m]) > 0

# 获取prometheus_tsdb_compactions_total最后一次变化的时间戳
timestamp(prometheus_tsdb_compactions_total) - 
  (timestamp(prometheus_tsdb_compactions_total) % 60)

3.2.2 通过Recording Rules预计算状态变化

为了在复盘时快速查询，建议提前创建Recording Rules，将关键状态变化的时间戳预计算并存储：

groups:
  - name: tsdb_replay_recording
    interval: 30s
    rules:
      - record: replay:tsdb_head_series:delta_5m
        expr: |
          delta(prometheus_tsdb_head_series[5m])
      - record: replay:tsdb_compaction:rate_5m
        expr: |
          rate(prometheus_tsdb_compactions_total[5m])
      - record: replay:tsdb_wal_size:increase_5m
        expr: |
          increase(prometheus_tsdb_wal_storage_size_bytes[5m])

3.3 复盘时间线构建流程

下图展示了从原始指标到复盘时间线的完整数据采集与处理流程：

3.4 状态变化记录的数据模型

为了支持精确的MTTR复盘，建议将每次状态变化记录为以下结构化数据：

{
  "timestamp": 1712345678,          // 变化发生时的Unix时间戳
  "metric": "prometheus_tsdb_head_series",
  "old_value": 1250000,             // 变化前的值
  "new_value": 1350000,             // 变化后的值
  "delta": 100000,                  // 变化量
  "event_type": "series_spike",     // 事件类型分类
  "severity": "warning"             // 严重程度
}

3.5 实战：采集脚本示例

以下是一个使用Python编写的采集脚本片段，用于从Prometheus API获取自监控指标并记录状态变化：

import requests
import time
from datetime import datetime

PROMETHEUS_URL = "http://localhost:9090"
METRICS_OF_INTEREST = [
    "prometheus_tsdb_head_series",
    "prometheus_tsdb_head_chunks",
    "prometheus_tsdb_wal_storage_size_bytes",
    "prometheus_tsdb_compactions_total"
]

previous_values = {}

def fetch_metric(metric_name):
    """从Prometheus API获取指标当前值"""
    query = f"{metric_name}[1m]"
    response = requests.get(
        f"{PROMETHEUS_URL}/api/v1/query",
        params={"query": query}
    )
    data = response.json()
    if data["status"] == "success" and data["data"]["result"]:
        return float(data["data"]["result"][0]["value"][1])
    return None

def detect_changes():
    """检测指标值变化并记录时间戳"""
    global previous_values
    for metric in METRICS_OF_INTEREST:
        current_value = fetch_metric(metric)
        if current_value is None:
            continue
        
        if metric in previous_values:
            old_value = previous_values[metric]
            if current_value != old_value:
                change_record = {
                    "timestamp": int(time.time()),
                    "metric": metric,
                    "old_value": old_value,
                    "new_value": current_value,
                    "delta": current_value - old_value,
                    "event_time": datetime.utcnow().isoformat()
                }
                # 将变化记录写入日志或存储系统
                print(f"[CHANGE] {change_record}")
        
        previous_values[metric] = current_value

# 每30秒执行一次采集
while True:
    detect_changes()
    time.sleep(30)

3.6 复盘数据采集的验证方法

完成采集配置后，通过以下步骤验证数据是否正确记录：

1. 实时验证：在Prometheus UI中执行prometheus_tsdb_head_series查询，确认指标值在预期范围内波动
2. 变化检测验证：手动触发一次Compaction（通过POST /-/reload），检查采集脚本是否记录到prometheus_tsdb_compactions_total的变化
3. 时间戳精度验证：对比Prometheus UI中的时间戳与采集脚本记录的时间戳，偏差应小于1秒
4. 长期稳定性验证：运行采集脚本24小时后，检查记录的变化事件数量是否合理（通常每天100-500次变化事件属于正常范围）

通过以上方法，你可以构建一套完整的MTTR复盘数据采集体系，为后续的瓶颈定位和查询优化提供精确的时间线数据支撑。