1. 课程导论与故障排查全景
本课程的核心目标是构建一套可落地的故障排查体系,将 Prometheus 监控体系、容量性能压测与巡检脚本编排三者深度融合。本章作为开篇,首先厘清三者的定位与协作关系,并给出贯穿全课程的故障排查总体方法论。
1.1 三大能力域的定位与职责
| 能力域 | 核心职责 | 在故障排查中的角色 |
|---|---|---|
| Prometheus 监控体系 | 指标采集、告警规则、时序数据存储与查询 | 故障发现、根因定位的数据底座 |
| 容量性能压测 | 模拟真实流量、验证系统容量水位与性能瓶颈 | 故障复现、容量规划、极限验证 |
| 巡检脚本编排 | 自动化执行健康检查、配置校验、日志分析 | 故障预防、日常巡检、变更后验证 |
关键认知: 监控负责“看到”故障,压测负责“制造”故障,巡检负责“预防”故障。三者形成闭环,缺一不可。
1.2 三者协作关系:故障排查闭环
下图展示了 Prometheus 监控、容量性能压测与巡检脚本编排在故障排查全生命周期中的协作流程:
实践要点: 在故障排查中,监控告警是“第一响应人”,压测是“问题复现器”,巡检是“日常体检医生”。三者配合越紧密,MTTR(平均修复时间)越低。
1.3 故障排查总体方法论
本课程遵循以下五步方法论,贯穿所有实战章节:
- 数据驱动:以 Prometheus 指标数据为唯一事实依据,避免经验主义猜测。
- 分层定位:从基础设施层 → 中间件层 → 应用层 → 业务层,逐层缩小排查范围。
- 可复现验证:通过容量性能压测复现故障场景,确认根因。
- 自动化闭环:将修复经验沉淀为巡检脚本,实现自动化预防。
- 持续优化:定期更新压测模型与监控告警阈值,适应系统演进。
1.4 课程知识体系结构
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1-5 章 | Prometheus 核心概念、压测工具选型、巡检脚本框架搭建 |
| 监控篇 | 第 6-12 章 | 指标采集优化、告警规则编排、Grafana 可视化、Exporter 开发 |
| 压测篇 | 第 13-20 章 | 容量模型设计、性能瓶颈分析、分布式压测、结果指标解读 |
| 巡检篇 | 第 21-26 章 | 巡检脚本编排引擎、健康检查模板、变更后验证、自动化修复 |
| 实战篇 | 第 27-30 章 | 综合故障排查案例、全链路压测与巡检联动、课程总结 |
避坑提示: 不要将监控、压测、巡检割裂为独立工具链。三者必须共享指标口径、告警阈值和故障标签,否则会出现“监控告警了但压测复现不了”、“巡检发现了问题但监控没抓到”等数据孤岛问题。