2. 值班基线概念：什么是值班基线、基线的重要性、基线偏离的常见场景
值班基线（On-Call Baseline）是SRE运维体系中用于衡量系统“健康常态”与“响应效率”的一组量化基准。它定义了在正常运营条件下，系统关键指标的可接受范围以及值班团队对告警的预期处理速度。没有基线，运维就失去了判断异常的依据，自动化故障排查也无从谈起。
2.1 什么是值班基线
值班基线不是单一的数值，而是一套由系统指标基线和响应流程基线组成的复合标准。系统指标基线关注“系统是否正常”，响应流程基线关注“人是否到位”。
核心定义：值班基线 = 系统健康阈值 + 响应SLA + 升级策略。它回答了三个问题：系统多差算故障？故障多久必须响应？响应不了怎么办？
| 基线类型 | 定义 | 典型示例 |
|---|---|---|
| 系统指标基线 | 描述系统在无故障时的稳态指标范围 | API P99延迟 < 200ms；CPU利用率 < 80%；错误率 < 0.1% |
| 响应流程基线 | 描述值班人员对告警的响应与处理时间要求 | P0告警5分钟内确认；P1告警15分钟内响应；每30分钟更新一次状态 |
| 升级策略基线 | 描述当响应超时或故障恶化时的自动升级路径 | P0超时5分钟 → 升级至值班Leader；超时10分钟 → 升级至SRE经理 |
2.2 基线的重要性
在自动化故障排查体系中，基线是判断“正常”与“异常”的唯一标尺。没有基线，告警风暴、误报、漏报将无法被有效治理。基线的重要性体现在以下四个维度：
- 异常检测的锚点：自动化监控系统通过对比实时指标与基线，才能触发告警。基线决定了告警的灵敏度和准确率。
- 值班效率的度量：响应基线（MTTA/MTTR）是衡量值班团队是否“在状态”的客观数据，也是优化排班和培训的依据。
- 自动化决策的前提：自动化故障排查脚本需要知道“什么算正常”，才能决定是否执行自愈动作。基线偏离是触发自动化流程的开关。
- 故障定级的依据：故障的严重等级（P0~P3）通常由指标偏离基线的程度和影响范围共同决定，避免主观判断带来的混乱。
实践建议：基线不是静态的。随着系统架构演进和业务增长，基线需要定期（如每季度）进行核验与调整。过时的基线比没有基线更危险——它会产生大量误报或漏报，导致值班人员产生“告警疲劳”。
2.3 基线偏离的常见场景
基线偏离（Baseline Drift）是指系统实际运行指标或值班响应行为持续偏离预设基线的现象。偏离并不总是意味着故障，但它是系统健康度下降或流程失效的前兆。以下是SRE日常值班中最高频的六类基线偏离场景：
- 突发流量导致延迟基线偏离：促销活动或爬虫攻击导致API延迟从P99 150ms飙升至2s，触发P0告警。
- 资源泄漏导致利用率基线偏离：内存泄漏导致Pod内存占用从60%持续增长至95%，触发OOM Kill阈值。
- 依赖服务降级导致错误率基线偏离：数据库连接池耗尽，导致上游服务错误率从0.05%上升至5%。
- 值班响应超时导致流程基线偏离：值班人员因时区错配或未收到告警，P0告警确认时间超过10分钟。
- 变更引入的配置基线偏离：上线新版本后，配置项错误导致缓存命中率从90%骤降至30%。
- 容量规划不足导致长期基线偏离：业务增长但未扩容，CPU利用率基线从60%逐渐漂移至90%，成为慢性故障。
2.4 基线偏离的根因分类
为了在自动化故障排查中快速定位偏离原因，我们将常见偏离场景归纳为三类根因。理解这些分类有助于设计更有针对性的自愈脚本。
| 根因分类 | 描述 | 典型场景 | 自动化应对方向 |
|---|---|---|---|
| 容量类偏离 | 资源供给无法匹配业务需求 | CPU/内存/连接数持续超限 | 自动扩缩容、限流、降级 |
| 质量类偏离 | 代码或配置缺陷导致服务质量下降 | 错误率飙升、延迟抖动、功能异常 | 自动回滚、配置修复、流量切换 |
| 流程类偏离 | 值班响应或升级机制失效 | 告警无人认领、响应超时、升级遗漏 | 自动升级、值班表校验、告警路由修复 |
常见误区：不要将所有基线偏离都视为故障。例如，因业务正常增长导致的CPU基线缓慢上移，属于“慢性偏离”，应通过容量规划解决，而非触发P0告警。区分“急性偏离”与“慢性偏离”是值班基线核验的核心能力。
2.5 基线核验的自动化切入点
在On-Call自动化故障排查体系中，基线核验不是一次性工作，而是嵌入在值班流程中的持续校验动作。以下三个自动化切入点可以直接提升基线核验的效率：
- 告警触发时自动校验基线有效性：当告警触发时，自动化脚本首先检查当前指标是否真的偏离了基线，排除因基线过期导致的误报。
- 故障恢复后自动建议基线调整：如果同一指标在短期内反复偏离基线，自动化系统应生成“基线调整建议”，提示SRE团队重新校准。
- 值班交接时自动执行基线快照对比：每个值班周期开始时，自动对比当前系统指标与上一周期的基线快照，提前发现慢性偏离。
自动化基线核验伪代码示例：
# 伪代码：自动化基线核验逻辑
def validate_baseline(metric_name, current_value):
baseline = get_baseline(metric_name) # 从CMDB或配置中心获取基线
if not baseline:
alert("基线未配置，请初始化基线")
return
if current_value > baseline.upper_threshold:
if is_chronic_drift(current_value, baseline):
suggest_baseline_update(metric_name, current_value)
else:
trigger_alert(metric_name, current_value, baseline)
elif current_value < baseline.lower_threshold:
# 低阈值偏离同样需要关注
log_drift(metric_name, current_value, baseline)