4. 基线核验方法论

性能基线是系统在正常负载与稳定状态下，由关键性能指标构成的参考基准。在 GameDay 混沌实验中，基线核验用于判断注入故障后系统是否回归到可接受状态。没有基线，调优与混沌实验就失去了量化依据。

4.1 什么是性能基线

性能基线是一组在特定时间窗口内采集的、代表系统“健康态”的指标集合。它并非固定值，而是随版本、架构、流量模式动态更新的参考区间。

4.2 基线核验流程：采集 → 对比 → 告警 → 回归

基线核验是一个闭环流程，每次 GameDay 实验前后都必须执行。流程分为四个阶段，每个阶段都有明确的输入与输出。

1. 采集（Collect）：从 Jaeger 后端、Prometheus、日志平台拉取指定时间窗口的指标数据。采集窗口通常为实验前 30 分钟与实验后 30 分钟。
2. 对比（Compare）：将实验后的指标分布与基线进行统计对比。常用方法包括百分比偏差、滑动窗口均值差、分位数偏移检测。
3. 告警（Alert）：当对比结果超出预设阈值时，触发告警。告警级别分为 Warning（偏差 > 10%）和 Critical（偏差 > 30%）。
4. 回归（Regression）：若对比通过，将当前指标标记为新基线或更新基线区间；若未通过，则阻断发布或触发回滚流程。

4.3 基线漂移的识别与处理

基线漂移是指系统性能指标在无故障注入的情况下，逐渐偏离原始基线范围的现象。漂移通常由代码变更、配置调整、基础设施老化或流量模式变化引起。

漂移识别方法

• 趋势检测：使用线性回归或 EWMA（指数加权移动平均）检测指标是否持续上升或下降。
• 季节性分解：将指标拆解为趋势、周期、残差三部分，观察趋势分量是否超出基线置信区间。
• 分位数偏移：对比当前 P99 与基线 P99 的差值，若连续 3 个窗口差值 > 20%，判定为漂移。

漂移处理策略

4.4 Jaeger 中的基线核验实践

在 Jaeger 生态中，基线核验通常结合 Jaeger Query API 与 Prometheus 指标实现。以下是一个基于 Jaeger 的基线对比代码片段，用于 GameDay 实验后的自动核验。

# 基线核验脚本示例（Python + Jaeger API）
import requests
import json

JAEGER_QUERY = "http://jaeger-query:16686/api/traces"
BASELINE_P99 = 250  # 基线 P99 延迟（ms）

def fetch_traces(service, lookback_minutes=30):
    params = {
        "service": service,
        "lookback": f"{lookback_minutes}m",
        "limit": 1000
    }
    resp = requests.get(JAEGER_QUERY, params=params)
    return resp.json()

def calculate_p99(traces):
    durations = [t["duration"] / 1000 for t in traces["data"]]
    durations.sort()
    idx = int(len(durations) * 0.99)
    return durations[idx] if durations else 0

def baseline_check(service):
    traces = fetch_traces(service)
    current_p99 = calculate_p99(traces)
    deviation = abs(current_p99 - BASELINE_P99) / BASELINE_P99 * 100
    print(f"当前 P99: {current_p99}ms, 基线 P99: {BASELINE_P99}ms, 偏移率: {deviation:.1f}%")
    if deviation > 15:
        print("⚠️ 基线核验失败：P99 偏移率超过 15%")
        return False
    print("✅ 基线核验通过")
    return True

if __name__ == "__main__":
    baseline_check("frontend-service")