4. MTTR复盘数据采集：从监控系统采集各阶段时间戳与数据清洗对齐方法

MTTR复盘的核心在于精确还原故障时间线。蓝绿发布场景下，资源争抢导致的异常往往在多个组件间级联传播，仅靠单一时间点无法定位根因。本节将讲解如何从Prometheus和Grafana中提取关键时间戳，并通过数据清洗与对齐方法构建可复用的复盘时间轴。

4.1 MTTR各阶段时间戳定义与采集来源

在蓝绿发布资源争抢场景中，MTTR拆解为以下四个关键阶段，每个阶段对应不同的监控数据源：

4.2 数据清洗：消除监控数据中的噪声与缺失

原始监控数据存在三大类问题，必须清洗后才能用于MTTR计算：

• 时间戳抖动：Prometheus 在集群负载高时可能出现采集延迟，导致时间戳非严格递增。使用 timestamp() 函数重采样，按5秒窗口取中位数。
• 指标缺失：Pod 重启或缩容导致指标断点。采用前向填充（forward fill）策略，缺失值沿用上一个有效值，最大填充窗口不超过30秒。
• 告警重复：同一异常触发多条告警。按 alertname + fingerprint 去重，保留首次 active_at 时间戳。

# PromQL 示例：清洗后的告警时间戳查询
# 去除重复告警，取每个告警实例的首次触发时间
min by (alertname, instance, severity) (
  ALERTS{alertstate="firing"}
  * on (alertname, instance) group_left
  timestamp(ALERTS{alertstate="firing"})
)

4.3 数据对齐：构建统一的复盘时间轴

不同监控源的时间戳存在时区、精度和基准差异，必须对齐到统一的时间坐标系：

1. 时区统一：所有时间戳强制转换为 UTC+8，Prometheus 原生使用 Unix 时间戳，Grafana 仪表盘快照需在导出时指定时区。
2. 精度对齐：将毫秒/微秒级时间戳截断到秒级，使用 floor() 函数向下取整。
3. 基准对齐：以 deployment_ready_replicas 首次低于期望副本数的时间点为 T0，所有阶段时间戳计算相对偏移量。

4.4 数据采集与对齐流程架构

下图展示了从原始监控数据到MTTR复盘时间轴的完整采集与清洗链路：

4.5 实战：使用PromQL采集各阶段时间戳

以下是一组可直接用于Grafana Explore的PromQL查询，分别采集MTTR四个阶段的时间戳：

# T1 发现时间：首次告警触发时间
min by (alertname) (
  ALERTS{alertname=~".*resource.*|.*crash.*", alertstate="firing"}
)

# T2 定位时间：Pod 进入 CrashLoopBackOff 状态的时间
min by (pod) (
  kube_pod_container_status_waiting_reason{reason="CrashLoopBackOff"}
  * on (pod) group_left
  timestamp(kube_pod_container_status_waiting_reason{reason="CrashLoopBackOff"})
)

# T3 恢复时间：HPA 扩容后 Pod Ready 数量恢复到期望值的时间
max by (deployment) (
  kube_deployment_status_replicas_available
  == on (deployment) group_left
  kube_deployment_spec_replicas
) and
timestamp(kube_deployment_status_replicas_available)

# T4 确认时间：蓝绿 Service 流量切换完成，错误率归零
min by (service) (
  rate(http_requests_duration_seconds_count{status=~"5.."}[1m])
  == 0
)

4.6 数据对齐后的复盘表格输出

清洗对齐后的数据应输出为结构化表格，便于人工复核和自动化报告生成：

4.7 自动化采集脚本框架

将上述流程封装为Python脚本，可定期从Prometheus API拉取数据并生成MTTR报告：

import requests
import pandas as pd
from datetime import datetime, timezone, timedelta

def fetch_mttr_timestamps(prometheus_url, start_time, end_time):
    """
    从Prometheus采集MTTR各阶段时间戳
    """
    queries = {
        'T0': 'min(timestamp(kube_deployment_status_replicas_unavailable))',
        'T1': 'min by (alertname) (ALERTS{alertstate="firing"})',
        'T2': 'min by (pod) (kube_pod_container_status_waiting_reason{reason="CrashLoopBackOff"})',
        'T3': 'max by (deployment) (kube_deployment_status_replicas_available == on (deployment) kube_deployment_spec_replicas)',
        'T4': 'min by (service) (rate(http_requests_duration_seconds_count{status=~"5.."}[1m]) == 0)'
    }
    
    results = {}
    for phase, query in queries.items():
        response = requests.get(f'{prometheus_url}/api/v1/query_range', params={
            'query': query,
            'start': start_time,
            'end': end_time,
            'step': '5'
        })
        data = response.json()
        # 提取时间戳并清洗
        timestamps = extract_timestamps(data)
        results[phase] = align_to_t0(timestamps)
    
    return results

def align_to_t0(timestamps):
    """
    以T0为基准对齐所有时间戳
    """
    t0 = timestamps.get('T0', 0)
    aligned = {}
    for phase, ts in timestamps.items():
        aligned[phase] = {
            'original': ts,
            'relative_seconds': ts - t0 if ts else None
        }
    return aligned