1. 课程导论与故障排查全景

本课程的核心目标是构建一套可落地的故障排查体系,将 Prometheus 监控体系、容量性能压测与巡检脚本编排三者深度融合。本章作为开篇,首先厘清三者的定位与协作关系,并给出贯穿全课程的故障排查总体方法论。

1.1 三大能力域的定位与职责

能力域 核心职责 在故障排查中的角色
Prometheus 监控体系 指标采集、告警规则、时序数据存储与查询 故障发现、根因定位的数据底座
容量性能压测 模拟真实流量、验证系统容量水位与性能瓶颈 故障复现、容量规划、极限验证
巡检脚本编排 自动化执行健康检查、配置校验、日志分析 故障预防、日常巡检、变更后验证
关键认知: 监控负责“看到”故障,压测负责“制造”故障,巡检负责“预防”故障。三者形成闭环,缺一不可。

1.2 三者协作关系:故障排查闭环

下图展示了 Prometheus 监控、容量性能压测与巡检脚本编排在故障排查全生命周期中的协作流程:

故障排查闭环:监控 · 压测 · 巡检协作全景 巡检脚本编排 日常健康检查 Prometheus 监控 指标采集 · 告警 容量性能压测 流量模拟 · 瓶颈发现 触发告警 定位瓶颈 验证修复 · 更新巡检规则 故障排查流程:发现 → 定位 → 复现 → 修复 → 验证 → 预防 ① 发现 ② 定位 ③ 复现 ④ 修复 ⑤ 验证 ⑥ 预防 验证通过后,更新巡检脚本 和监控告警规则,形成预防闭环
实践要点: 在故障排查中,监控告警是“第一响应人”,压测是“问题复现器”,巡检是“日常体检医生”。三者配合越紧密,MTTR(平均修复时间)越低。

1.3 故障排查总体方法论

本课程遵循以下五步方法论,贯穿所有实战章节:

  1. 数据驱动:以 Prometheus 指标数据为唯一事实依据,避免经验主义猜测。
  2. 分层定位:从基础设施层 → 中间件层 → 应用层 → 业务层,逐层缩小排查范围。
  3. 可复现验证:通过容量性能压测复现故障场景,确认根因。
  4. 自动化闭环:将修复经验沉淀为巡检脚本,实现自动化预防。
  5. 持续优化:定期更新压测模型与监控告警阈值,适应系统演进。

1.4 课程知识体系结构

模块 章节范围 核心内容
基础篇 第 1-5 章 Prometheus 核心概念、压测工具选型、巡检脚本框架搭建
监控篇 第 6-12 章 指标采集优化、告警规则编排、Grafana 可视化、Exporter 开发
压测篇 第 13-20 章 容量模型设计、性能瓶颈分析、分布式压测、结果指标解读
巡检篇 第 21-26 章 巡检脚本编排引擎、健康检查模板、变更后验证、自动化修复
实战篇 第 27-30 章 综合故障排查案例、全链路压测与巡检联动、课程总结
避坑提示: 不要将监控、压测、巡检割裂为独立工具链。三者必须共享指标口径、告警阈值和故障标签,否则会出现“监控告警了但压测复现不了”、“巡检发现了问题但监控没抓到”等数据孤岛问题。

1.5 本章小结