第1章:实时巡检概述
1.1 什么是实时巡检?
先说说我自己的理解。实时巡检,不是半夜拿着手电筒去机房转一圈。那叫「人工打卡巡检」,早就过时了。
真正的实时巡检,是指在秒级甚至毫秒级的时间窗口内,自动采集系统关键节点的运行状态数据,并与预设的阈值进行比对,一旦发现异常立即触发告警或兜底动作。你可以把它想象成「7×24小时贴在系统动脉上的听诊器」,不需要人到场,机器自己听、自己判断。
我2018年负责一个钢铁厂产线监控项目,客户说他们的巡检周期是15分钟,工人定期刷新Web页面看温度曲线。结果有一次换热器温度在30秒内飙升了80度,等工人看到曲线已经晚了——停机损失80万。从那以后我坚持一条原则:实时巡检的「实时」不是拍脑袋定的,由你容忍的数据空白窗口决定。
核心定义:实时巡检 = 自动化数据采集 + 定频比对 + 阈值异常判定 + 即时反馈。它弥补了人工巡检在时间颗粒度、覆盖广度、反应速度上的天然短板。
当然,不同场景对「实时」的苛刻度不一样。温度监控可以容忍5秒,交易系统可能容忍500毫秒。你在设计巡检流程时,第一件事不是写代码,而是跟业务方一起确认:「数据最多能空窗多久?」
1.2 为什么需要实时巡检?
一句话:故障不会挑你上班的时候来。
我从三个层面拆解原因——全是项目里踩过的坑换来的教训。
- 缩小故障检测时长(MTTD)
我曾经维护过一套制冷机群,人工巡检每4小时一次。压缩机轴承温度从正常到烧毁只需要90分钟。你算算,第4小时的巡检能救回来么?不能。实时巡检直接把检测窗口压到1分钟以内。 - 降低运维人力成本
一个数据中心如果只靠人巡,三班倒至少需要6个人。引入实时巡检后,人可以去做更有价值的故障分析、预案演练。说白了,机器干的活越多,人越值钱。 - 支撑自动响应和自愈
只有实时巡检能提供「闭环控制」的条件。发现温度超过阈值,自动调大冷却水阀,几秒完成。人走过去手动操作至少两分钟,设备早就过热了。
小经验:很多团队刚上实时巡检时,总是纠结「要监控多少个指标」。我建议从3个角色角度看:
· 业务方关心「服务可达吗?」
· 开发关心「接口慢了吗?」
· 运维关心「硬件还撑得住吗?」
三种视角各选3~5个核心指标,够了。贪多嚼不烂。
1.3 巡检与监控的区别与联系
这个点经常有人搞混。我直接上对比表,你看完就明白了。
| 维度 | 巡检 | 监控 |
|---|---|---|
| 目标 | 验证系统是否健康 | 发现系统是否异常 |
| 执行方式 | 主动、周期性、确定性 | 持续采集+被动等待告警 |
| 数据粒度 | 快照式对比(当前值 vs 阈值) | 全量时序记录+趋势分析 |
| 输出 | 巡检报告、状态绿/黄/红 | 告警事件、看板、日志 |
| 典型时序 | 每30秒 / 每5分钟 / 每小时 | 持续拉取,无固定周期 |
你想想看,监控像雷达一直开着,看到什么就记录下来;巡检像哨兵定点巡逻,每次都问「你还好吗?亮个绿灯看看」。前者知道趋势,后者知道瞬时状态。
它们谁也不能替代谁。 我见过一个团队只做了监控,没做巡检,结果磁盘写满了三天,告警早就发了但是没人去修——因为没有巡检来验证「告警是否被处理、系统是否恢复」。反过来,只有巡检没有监控,你又看不到历史曲线,没法做容量规划和根因分析。
我的做法是:在监控系统上叠加巡检作业。监控采集全量指标存到时序库;巡检按固定频率读取最新值,跑一套判定逻辑,输出「绿/黄/红」状态。两者共用同一套采集代理,避免重复打桩。
避坑提醒:我曾经把巡检和监控的阈值混在一起用。监控的阈值往往设得比较宽松(避免误报),巡检的阈值应该更严格(提前发现隐患)。结果导致巡检一直绿灯,监控偶尔爆一下黄灯,两边对不上。后来我把两套阈值分开维护,才解决了这个矛盾。
1.4 实时巡检的知识体系
下面这张图概括了这一章的核心逻辑,也对应了我们整个课程的知识骨架:定义 → 目标 → 流程 → 度量 → 优化。
这张图你把每个节点拆开,就是我们后面29章要讲的内容。先从左上角「定义」走到底部的「阈值调优」,整套方法论就串起来了。
1.5 关于本课程,我多说两句
做运维十几年,我见过太多监控系统成了「告警洪水」,阈值拍脑袋定,巡检流程形同虚设。这门课不跟你讲花里胡哨的概念,每个方法都是我拿真实系统的告警数据喂出来的。
嗯,第一章算是开胃菜。你只要记住三句话:
- 实时巡检不是监控的替代品,是监控的放大镜和报警器重校准器。
- 开始之前,先搞清楚你的业务容忍的「数据空窗期」。
- 巡检和监控的阈值必须分开管理,否则两边打架,最后谁都信不过。
后面我们会一步步深入到:巡检频率怎么定、阈值怎么设、异常动作怎么写、怎么用历史数据自动调参。每一个阶段我都会把踩过的坑拿出来示众,让你省点学费。
最后提醒一句:别急着上全量巡检。先从3~5个核心指标跑起来,跑稳定了再扩。项目初期最忌讳「想全而不得」。我们下个章节就从「怎么选巡检指标」开始聊。