第1章:实时巡检概述

1.1 什么是实时巡检?

先说说我自己的理解。实时巡检,不是半夜拿着手电筒去机房转一圈。那叫「人工打卡巡检」,早就过时了。

真正的实时巡检,是指在秒级甚至毫秒级的时间窗口内,自动采集系统关键节点的运行状态数据,并与预设的阈值进行比对,一旦发现异常立即触发告警或兜底动作。你可以把它想象成「7×24小时贴在系统动脉上的听诊器」,不需要人到场,机器自己听、自己判断。

我2018年负责一个钢铁厂产线监控项目,客户说他们的巡检周期是15分钟,工人定期刷新Web页面看温度曲线。结果有一次换热器温度在30秒内飙升了80度,等工人看到曲线已经晚了——停机损失80万。从那以后我坚持一条原则:实时巡检的「实时」不是拍脑袋定的,由你容忍的数据空白窗口决定。

核心定义:实时巡检 = 自动化数据采集 + 定频比对 + 阈值异常判定 + 即时反馈。它弥补了人工巡检在时间颗粒度、覆盖广度、反应速度上的天然短板。

当然,不同场景对「实时」的苛刻度不一样。温度监控可以容忍5秒,交易系统可能容忍500毫秒。你在设计巡检流程时,第一件事不是写代码,而是跟业务方一起确认:「数据最多能空窗多久?」

1.2 为什么需要实时巡检?

一句话:故障不会挑你上班的时候来。

我从三个层面拆解原因——全是项目里踩过的坑换来的教训。

  1. 缩小故障检测时长(MTTD)
    我曾经维护过一套制冷机群,人工巡检每4小时一次。压缩机轴承温度从正常到烧毁只需要90分钟。你算算,第4小时的巡检能救回来么?不能。实时巡检直接把检测窗口压到1分钟以内。
  2. 降低运维人力成本
    一个数据中心如果只靠人巡,三班倒至少需要6个人。引入实时巡检后,人可以去做更有价值的故障分析、预案演练。说白了,机器干的活越多,人越值钱。
  3. 支撑自动响应和自愈
    只有实时巡检能提供「闭环控制」的条件。发现温度超过阈值,自动调大冷却水阀,几秒完成。人走过去手动操作至少两分钟,设备早就过热了。

小经验:很多团队刚上实时巡检时,总是纠结「要监控多少个指标」。我建议从3个角色角度看:
· 业务方关心「服务可达吗?」
· 开发关心「接口慢了吗?」
· 运维关心「硬件还撑得住吗?」
三种视角各选3~5个核心指标,够了。贪多嚼不烂。

1.3 巡检与监控的区别与联系

这个点经常有人搞混。我直接上对比表,你看完就明白了。

维度巡检监控
目标验证系统是否健康发现系统是否异常
执行方式主动、周期性、确定性持续采集+被动等待告警
数据粒度快照式对比(当前值 vs 阈值)全量时序记录+趋势分析
输出巡检报告、状态绿/黄/红告警事件、看板、日志
典型时序每30秒 / 每5分钟 / 每小时持续拉取,无固定周期

你想想看,监控像雷达一直开着,看到什么就记录下来;巡检像哨兵定点巡逻,每次都问「你还好吗?亮个绿灯看看」。前者知道趋势,后者知道瞬时状态。

它们谁也不能替代谁。 我见过一个团队只做了监控,没做巡检,结果磁盘写满了三天,告警早就发了但是没人去修——因为没有巡检来验证「告警是否被处理、系统是否恢复」。反过来,只有巡检没有监控,你又看不到历史曲线,没法做容量规划和根因分析。

我的做法是:在监控系统上叠加巡检作业。监控采集全量指标存到时序库;巡检按固定频率读取最新值,跑一套判定逻辑,输出「绿/黄/红」状态。两者共用同一套采集代理,避免重复打桩。

避坑提醒:我曾经把巡检和监控的阈值混在一起用。监控的阈值往往设得比较宽松(避免误报),巡检的阈值应该更严格(提前发现隐患)。结果导致巡检一直绿灯,监控偶尔爆一下黄灯,两边对不上。后来我把两套阈值分开维护,才解决了这个矛盾。

1.4 实时巡检的知识体系

下面这张图概括了这一章的核心逻辑,也对应了我们整个课程的知识骨架:定义 → 目标 → 流程 → 度量 → 优化。

实时巡检知识体系 定义:分钟级自动比对 目标:缩短MTTD/自愈 边界:巡检≠监控 采集频率:秒~分钟级 阈值:上下限+死区 动作:告警/降级/自愈 CPU·内存·磁盘 网络延迟·丢包率 业务QPS·错误率 环境温湿度 巡检结果:绿/黄/红 + 报告 阈值调优 · 盲区消除 · 自动化升级

这张图你把每个节点拆开,就是我们后面29章要讲的内容。先从左上角「定义」走到底部的「阈值调优」,整套方法论就串起来了。

1.5 关于本课程,我多说两句

做运维十几年,我见过太多监控系统成了「告警洪水」,阈值拍脑袋定,巡检流程形同虚设。这门课不跟你讲花里胡哨的概念,每个方法都是我拿真实系统的告警数据喂出来的。

嗯,第一章算是开胃菜。你只要记住三句话:

  • 实时巡检不是监控的替代品,是监控的放大镜和报警器重校准器。
  • 开始之前,先搞清楚你的业务容忍的「数据空窗期」。
  • 巡检和监控的阈值必须分开管理,否则两边打架,最后谁都信不过。

后面我们会一步步深入到:巡检频率怎么定、阈值怎么设、异常动作怎么写、怎么用历史数据自动调参。每一个阶段我都会把踩过的坑拿出来示众,让你省点学费。

最后提醒一句:别急着上全量巡检。先从3~5个核心指标跑起来,跑稳定了再扩。项目初期最忌讳「想全而不得」。我们下个章节就从「怎么选巡检指标」开始聊。