课程导入：监控告警体系的价值、Prometheus与Grafana的定位、课程学习路径与实战环境准备

在云原生与微服务架构快速普及的今天，一个分布式系统的组件数量动辄成百上千，容器实例的生命周期以分钟甚至秒为单位变化。传统的“登录服务器执行 top、查看日志文件末尾”的排查方式，在面对动态伸缩、服务网格和短时任务时已经力不从心。监控告警体系不再是运维团队的“附属工具”，而是保障系统稳定性、支撑容量规划、辅助故障定位的核心基础设施。本课程将围绕 Prometheus 与 Grafana 这一业界最流行的开源组合，从零构建一套完整、可扩展、可落地的监控告警平台。本章作为课程导入，将首先阐明监控体系的核心价值，明确 Prometheus 与 Grafana 在技术栈中的定位，并规划出一条从基础到进阶的学习路径，同时指导你完成本地实战环境的搭建。

监控告警体系的价值：从被动救火到主动预防

监控告警体系的价值，本质上在于将“未知的未知”转化为“已知的未知”，再进一步转化为“已知的已知”。在没有监控的系统中，故障的发生是随机的、不可预测的，团队只能被动响应——用户投诉、业务中断、数据丢失，然后才匆忙登录服务器排查。而一套完善的监控体系，能够持续采集系统各层面的运行指标，通过阈值与趋势分析，在故障尚未造成严重影响时发出预警，为运维和研发团队争取宝贵的响应时间。

以电商大促场景为例，假设某核心订单服务的 CPU 使用率在 10:30 开始从 40% 持续攀升，到 10:45 达到 85%。如果没有监控，系统可能在 11:00 因资源耗尽而拒绝服务，导致大量订单失败。而有了 Prometheus 配合告警规则，系统可以在 CPU 超过 80% 时立即触发告警，运维团队在 10:45 就能介入，通过扩容或限流措施避免故障发生。这不仅仅是技术问题，更是业务连续性的保障。

监控体系的价值还体现在故障定位的效率上。一个典型的微服务调用链可能涉及 API 网关、认证服务、业务服务、数据库、缓存等多个组件。当用户反馈“下单慢”时，如果没有监控数据，排查人员需要逐台服务器检查，耗时可能以小时计。而通过 Prometheus 采集的各组件延迟指标和 Grafana 的关联分析面板，可以快速发现瓶颈所在——例如数据库查询耗时从 20ms 飙升至 500ms，从而直接定位到慢查询问题。

Prometheus 与 Grafana 的定位：采集存储与可视化的黄金组合

在监控技术栈中，Prometheus 与 Grafana 各自承担着清晰且互补的职责。Prometheus 是一个开源的系统监控和告警工具包，其核心定位是指标数据的采集、存储与查询。它采用拉取（Pull）模型，定期从各个监控目标（Target）的 /metrics 端点抓取指标数据，并存储在本地的时间序列数据库（TSDB）中。Prometheus 提供了强大的 PromQL 查询语言，支持对时间序列数据进行聚合、运算、预测等复杂操作，是监控数据的“数据仓库”和“计算引擎”。

Grafana 则是一个开源的可视化平台，其定位是将数据转化为直观的图表和仪表盘。Grafana 本身不存储监控数据，而是通过数据源插件接入 Prometheus、InfluxDB、Elasticsearch、MySQL 等数十种数据源。它提供了丰富的图表类型（折线图、柱状图、热力图、仪表盘等）和灵活的布局系统，让用户能够快速构建出专业、美观、可交互的监控大屏。Grafana 还支持告警功能，但通常与 Prometheus 的 Alertmanager 配合使用，形成完整的告警闭环。

两者的关系可以类比为“数据库与报表工具”的关系。Prometheus 负责“存”和“算”，Grafana 负责“看”和“用”。在实际部署中，Prometheus 作为后端服务运行，通过服务发现机制自动发现新的监控目标；Grafana 作为前端应用，通过配置 Prometheus 数据源，将 PromQL 查询结果渲染为可视化图表。这种松耦合的架构使得每一层都可以独立扩展和替换，例如可以将 Grafana 的数据源切换为 Thanos 或 VictoriaMetrics 以支持长期存储，而不影响可视化层。

课程学习路径：从基础到实战的进阶设计

本课程共 30 章，按照“基础认知 → 核心操作 → 高级应用 → 实战落地”四个阶段设计，确保学员能够循序渐进地掌握 Prometheus 与 Grafana 的完整知识体系。

第一阶段（第 1-8 章）聚焦基础：深入理解监控指标模型（Counter、Gauge、Histogram、Summary），掌握 PromQL 查询语法，完成 Prometheus 与 Grafana 的安装部署。这一阶段的目标是让学员能够独立搭建一套最小可用的监控环境，并能够编写基本的查询语句。

第二阶段（第 9-16 章）围绕采集与存储展开：学习各类 Exporter 的使用（Node Exporter、MySQL Exporter、Redis Exporter 等），理解服务发现机制（文件发现、Consul、Kubernetes），掌握 TSDB 的存储原理与数据保留策略。这一阶段将解决“监控什么”和“如何高效采集”的问题。

第三阶段（第 17-24 章）深入告警与可视化：编写告警规则、配置 Alertmanager 的路由与抑制、实现告警通知（邮件、钉钉、Webhook），同时学习 Grafana 的高级可视化技巧（变量模板、告警面板、权限管理）。这一阶段将打通“发现异常 → 通知到人”的闭环。

第四阶段（第 25-30 章）进入生产级实战：包括监控高可用方案（Thanos 多集群）、Kubernetes 监控体系、业务指标监控设计、监控数据驱动容量规划，以及一个完整的电商系统监控告警平台搭建项目。这一阶段将模拟真实生产环境，培养学员的架构设计与排障能力。

实战环境准备：基于 Docker 的快速搭建

为了确保课程中的每个实验都能顺利复现，我们推荐使用 Docker 和 docker-compose 搭建一套标准化的本地实验环境。这种方式可以避免因操作系统差异、依赖冲突导致的环境问题，让你将精力集中在监控本身。

首先，确保你的机器已安装 Docker（20.10+）和 Docker Compose（v2 或 v1.27+）。然后，创建一个项目目录，例如 monitoring-lab，并在其中创建 docker-compose.yml 文件。以下是一个最小化的环境配置，包含 Prometheus、Grafana、Node Exporter 和 cAdvisor 四个核心组件：

version: '3.8'
services:
  prometheus:
    image: prom/prometheus:v2.53.0
    container_name: prometheus
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
      - prom-data:/prometheus
    ports:
      - "9090:9090"
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
    restart: unless-stopped

  grafana:
    image: grafana/grafana:11.0.0
    container_name: grafana
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=admin123
      - GF_INSTALL_PLUGINS=grafana-clock-panel
    volumes:
      - grafana-data:/var/lib/grafana
    ports:
      - "3000:3000"
    depends_on:
      - prometheus
    restart: unless-stopped

  node-exporter:
    image: prom/node-exporter:v1.8.1
    container_name: node-exporter
    ports:
      - "9100:9100"
    restart: unless-stopped

  cadvisor:
    image: gcr.io/cadvisor/cadvisor:v0.49.1
    container_name: cadvisor
    ports:
      - "8080:8080"
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:ro
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
    restart: unless-stopped

volumes:
  prom-data:
  grafana-data:

同时，需要创建 Prometheus 的配置文件 prometheus.yml，定义全局配置和抓取任务：

global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node-exporter'
    static_configs:
      - targets: ['node-exporter:9100']

  - job_name: 'cadvisor'
    static_configs:
      - targets: ['cadvisor:8080']

在项目目录下执行 docker-compose up -d，等待镜像拉取和容器启动。启动完成后，可以通过以下地址访问各组件：

• Prometheus UI：http://localhost:9090（用于查询指标、查看 Targets 状态）
• Grafana：http://localhost:3000（默认账号 admin / admin123）
• Node Exporter 指标：http://localhost:9100/metrics
• cAdvisor 指标：http://localhost:8080/metrics

验证环境是否正常工作的一个简单方法是：在 Prometheus UI 的 “Status → Targets” 页面中，确认所有 Target 的 State 均为 “UP”。然后在 “Graph” 页面输入 up 并执行，如果返回 4 个值为 1 的时间序列，说明采集链路已经打通。

案例拆解：一次典型的监控告警闭环演示

为了让你更直观地理解监控告警体系的工作流程，我们通过一个简单的案例来演示“指标采集 → 数据存储 → 可视化 → 告警通知”的完整闭环。假设我们想要监控本地服务器的 CPU 使用率，并在超过 80% 时收到告警通知。

第一步：确认指标可用。Node Exporter 默认暴露了 node_cpu_seconds_total 指标，这是一个 Counter 类型，记录了 CPU 在各模式下的累计时间。在 Prometheus UI 中执行以下 PromQL 查询，可以计算当前 CPU 使用率：

100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

该查询首先计算过去 5 分钟内 idle 模式的 CPU 时间变化率，然后取平均值，最后用 100 减去得到使用率。

第二步：在 Grafana 中创建仪表盘。登录 Grafana，添加 Prometheus 数据源（URL 填写 http://prometheus:9090），然后创建一个新的 Dashboard，添加一个 Panel，选择 Prometheus 数据源，将上述 PromQL 语句粘贴到查询编辑器中，即可看到 CPU 使用率的实时曲线。

第三步：配置告警规则。在 Prometheus 配置文件 prometheus.yml 同目录下创建 alerts.yml，定义一条告警规则：

groups:
  - name: node-alerts
    rules:
      - alert: HighCPUUsage
        expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "Instance {{ $labels.instance }} CPU usage is high"
          description: "CPU usage has been above 80% for more than 2 minutes."

然后在 prometheus.yml 中通过 rule_files 引入该文件，并重启 Prometheus 容器。此时，如果 CPU 使用率持续超过 80% 达 2 分钟，Prometheus 会将告警发送给 Alertmanager（如果已配置）。

第四步：验证告警。为了模拟高 CPU 场景，可以在宿主机执行 stress --cpu 4 --timeout 60（需要安装 stress 工具）。观察 Prometheus UI 的 “Alerts” 页面，可以看到告警状态从 “Inactive” 变为 “Pending”，持续 2 分钟后变为 “Firing”。如果配置了 Alertmanager 和通知渠道（如邮件），此时会收到告警通知。

这个案例虽然简单，但涵盖了监控体系的所有关键环节。在后续课程中，我们将逐步深入每个环节的细节，包括更复杂的 PromQL 聚合、告警路由策略、Grafana 模板变量等高级功能。