📚 课程目录第1章 On-Call概述

1. On-Call 概述：什么是 On-Call、On-Call 的职责与挑战、值班环境基线核验的重要性

1.1 什么是 On-Call

On-Call（值班）是指工程师在非工作时间（夜间、周末、节假日）轮值待命，负责响应生产环境的告警、故障与用户报障，并在规定时间内恢复服务。On-Call 不是“被动等待”，而是一种主动运维责任机制——值班人员必须保持通讯畅通、具备快速诊断能力，并拥有执行应急变更的权限。

  核心特征： 轮值制、SLA 驱动、故障响应、变更执行、事后复盘。

1.2 On-Call 的职责与挑战

1.2.1 职责矩阵

职责域	具体工作	关键产出
告警响应	接收并分类 P0~P3 告警，确认是否真实故障	告警确认率 > 95%
故障诊断	查看监控面板、日志、链路追踪，定位根因	MTTR（平均修复时间）
应急恢复	执行回滚、重启、扩容、降级等操作	服务恢复时间 < SLA 阈值
升级通报	按 escalation 路径通知二线/研发负责人	通报记录完整可追溯
值班交接	记录未关闭事件、遗留问题、临时变更	交接文档覆盖率 100%

1.2.2 常见挑战

告警疲劳： 无效告警占比过高，导致真正关键告警被淹没。
环境不一致： 本地开发环境与生产环境差异大，应急操作手册失效。
工具碎片化： 监控、日志、CMDB、变更系统各自独立，切换耗时。
知识孤岛： 系统拓扑、依赖关系、历史故障仅存在于少数人脑中。
交接遗漏： 口头交接或简单文字记录，关键上下文丢失。

⚠ 常见误区： 认为 On-Call 只是“接电话+重启服务”。实际上，70% 的故障根因需要跨系统分析，值班人员必须具备环境基线核验能力，才能快速判断“当前状态是否正常”。

1.3 值班环境基线核验的重要性

值班环境基线核验（On-Call Environment Baseline Verification）是指在值班开始前，对值班所需的所有工具、系统、权限、数据、网络进行标准化检查，确保值班人员“开箱即用”，无需临时配置或求助。

1.3.1 核验覆盖范围

核验维度	检查项示例	失败后果
账号权限	VPN、堡垒机、云平台、K8s 集群、数据库	无法登录生产环境，故障响应延迟
通讯通道	电话、即时通讯、告警接收、视频会议	错过告警通知或升级通报
监控工具	Grafana、Prometheus、ELK、APM 面板	无法查看指标与日志，诊断盲区
变更工具	CI/CD 管道、配置中心、脚本执行环境	无法执行应急变更或回滚
文档手册	值班手册、Runbook、架构图、联系人列表	操作无依据，依赖记忆或猜测

1.3.2 基线核验的价值

降低 MTTR： 环境就绪后，故障响应从“找工具”变为“直接诊断”。
减少人为失误： 标准化检查清单避免遗漏关键步骤。
提升值班信心： 新值班人员无需担心“环境没配好”。
支持自动化： 基线核验脚本化后，可集成到值班交接流程中自动执行。

1.4 On-Call 值班流程与基线核验位置

下图展示了标准 On-Call 值班流程，并标出基线核验在整个流程中的关键位置——它发生在值班开始之前，是后续所有环节的前提条件。

1.5 基线核验自动化：从手动到脚本

传统值班依赖人工逐项检查，效率低且易遗漏。自动化基线核验通过脚本或工具链，在值班交接时自动执行检查并输出报告。以下是一个简化版的核验脚本示例：

#!/bin/bash
# oncall_baseline_check.sh - 值班环境基线核验脚本

echo "=== On-Call 基线核验开始 ==="

# 1. 账号权限核验
echo "[1/5] 检查 VPN 连接..."
curl -s -o /dev/null -w "%{http_code}" --connect-timeout 5 https://vpn.company.com/health
if [ $? -eq 0 ]; then echo "  ✓ VPN 可达"; else echo "  ✗ VPN 不可达"; fi

echo "[2/5] 检查堡垒机登录..."
ssh -o ConnectTimeout=5 bastion.company.com "echo OK" &> /dev/null
if [ $? -eq 0 ]; then echo "  ✓ 堡垒机登录成功"; else echo "  ✗ 堡垒机登录失败"; fi

# 2. 监控工具核验
echo "[3/5] 检查 Grafana 面板..."
curl -s -o /dev/null -w "%{http_code}" --connect-timeout 5 https://grafana.company.com
if [ $? -eq 0 ]; then echo "  ✓ Grafana 可达"; else echo "  ✗ Grafana 不可达"; fi

# 3. 变更工具核验
echo "[4/5] 检查 CI/CD 管道状态..."
curl -s -X GET "https://jenkins.company.com/api/json" --connect-timeout 5 | grep -q "jobs"
if [ $? -eq 0 ]; then echo "  ✓ Jenkins API 正常"; else echo "  ✗ Jenkins API 异常"; fi

# 4. 文档核验
echo "[5/5] 检查值班手册版本..."
if [ -f /docs/oncall_handbook_v2.3.pdf ]; then
  echo "  ✓ 值班手册存在 (v2.3)"
else
  echo "  ✗ 值班手册缺失"
fi

echo "=== 基线核验完成 ==="

💡 自动化进阶： 将上述脚本集成到值班交接系统（如 PagerDuty、Opsgenie），在值班开始前 30 分钟自动触发，核验失败时通过即时通讯通知值班人及备份人。

1.6 本章小结

On-Call 是主动运维责任机制，核心职责包括告警响应、故障诊断、应急恢复、升级通报与值班交接。
常见挑战包括告警疲劳、环境不一致、工具碎片化、知识孤岛与交接遗漏。
值班环境基线核验是 On-Call 流程的起点，覆盖账号、通讯、监控、变更、文档五大维度。
基线核验自动化可显著降低 MTTR、减少人为失误，是 On-Call 自动化入门的第一步。