4. 可观测性基础
骨干网络的可观测性不是“多装几个监控工具”,而是围绕三类互补的遥测数据建立统一的判断能力。指标回答“系统整体是否健康、趋势是否异常”,日志回答“某个具体事件为什么发生、当时发生了什么”,追踪回答“一个跨设备、跨域的业务流在路径上经历了什么、时间花在哪里”。三者不是替代关系:指标擅长低成本、高频次、长时间序列的聚合观察;日志保留离散事件的细节与上下文;追踪把分散在多个节点上的处理过程串成一条端到端因果链。骨干网的特点是设备角色多(PE、P、RR、ASBR)、协议层次多(IGP、BGP、MPLS/SR、VXLAN)、流量方向性强,因此必须明确每类数据的来源、采集位置和适用边界。
指标:从设备与接口采集的数值化状态
骨干网指标的核心来源是设备自身的计数器与状态表。接口层常见的有 ifHCInOctets、ifHCOutOctets、ifInErrors、ifOutDiscards,它们反映链路吞吐、错包与拥塞丢弃;设备层有 CPU、内存、温度、电源状态;协议层有 BGP 邻居状态与前缀数、IS-IS/OSPF 邻接变化次数、MPLS 标签转发表项数、SR 策略的候选路径状态。采集方式主要有两类:一是 SNMP 轮询,适合接口计数器和设备资源,周期通常为 15s~60s;二是 gNMI/Telemetry 流式推送,适合高频、细粒度的计数器与状态变化,周期可到 1s~10s。需要注意,SNMP 计数器是累计值,计算速率时要处理 32 位回绕;而 Telemetry 推送的是带时间戳的采样值,更适合做趋势与阈值判断。
指标的价值在于“可聚合、可告警、可对比”。例如某骨干链路出方向丢包率持续升高,可以先看 ifOutDiscards 速率,再结合队列丢弃计数与接口利用率判断是拥塞还是硬件问题。但指标不保留单个报文的路径信息,因此无法直接回答“哪条业务流受影响”。
日志:事件上下文与协议交互细节
骨干网日志主要来自设备系统日志、协议事件日志和流日志。系统日志包括接口 up/down、硬件告警、配置变更;协议日志包括 BGP 邻居建立/断开、路由抖动、BFD 会话状态变化;流日志(如 NetFlow/IPFIX/sFlow)则记录五元组、字节数、时间戳和输入/输出接口。日志的采集通常通过 syslog 推送至日志平台,流日志由设备采样后发送到采集器。日志的关键价值是“带上下文”:一条 BGP 邻居断开日志会包含对端地址、AS 号、断开原因码(如 Hold Timer Expired、Notification 错误码),这些信息在指标里只能看到邻居状态从 Established 变为 Idle,却看不到原因。
但日志量大、格式不统一,且流日志采样会丢失部分报文细节。因此日志更适合做事件定位与根因分析,而不是全局健康度判断。
追踪:端到端路径与逐跳时延
骨干网追踪分为两类:一是基于报文封装的主动探测,如 TWAMP、STAMP、ICMP 逐跳探测,能给出路径与 RTT;二是基于业务流的分布式追踪,如在 SRv6 或 MPLS 网络中通过带内遥测(INT)或路径追踪(如 SR-PM)采集逐跳时延、丢包与路径信息。追踪数据来源包括:探测源端、各转发节点上的遥测指令、以及采集分析器。追踪回答的是“这条流走了哪条路径、每一跳的排队/转发时延是多少、在哪一跳发生了丢包”。
在骨干网中,追踪尤其重要,因为同一目的前缀可能有多条等价路径或 SR 策略路径,指标只能看到接口聚合流量,无法区分具体路径。追踪可以把“某条 SR Policy 的候选路径时延突增”定位到具体节点或链路。
三者的协同关系与数据来源对照
实际排障时,通常先用指标发现异常,再用日志确认事件,最后用追踪定位路径与逐跳原因。例如:指标显示某 PE 到远端 PE 的 SR 策略时延升高;日志显示该路径经过的某 P 节点发生 BFD 抖动;追踪显示该节点入队列丢弃增加。三者结合才能形成完整判断。下面用一张关系图展示三大支柱在骨干网中的采集位置、数据来源与协同判断路径。
采集位置与数据粒度的取舍
在骨干网中,采集位置决定了数据能回答什么问题。接口计数器在出方向统计的是“已经排队并尝试发送”的报文,因此 ifOutDiscards 升高通常意味着队列溢出;而 ifInErrors 升高则指向物理层或链路层问题。BGP 邻居状态指标来自控制面,反映的是协议会话是否建立,但无法反映数据面转发是否正常,因此需要 BFD 或 SR-PM 补充。流日志在 ASBR 上采集可以观察跨域流量分布,但采样率通常为 1:1000 或 1:2000,适合趋势分析而非精确计费。追踪数据在 SRv6 网络中可以通过 INT 指令在每跳插入元数据,但会增加报文开销,需要权衡 MTU 与采集频率。
一个可参考的排障判断顺序
假设某骨干网 PE1 到 PE2 的 SR Policy 路径时延从 12ms 升至 45ms。第一步,查看指标:PE1 出接口 ifOutDiscards 是否升高、SR Policy 候选路径的时延指标是否突增、中间 P 节点 CPU 是否正常。第二步,查看日志:该时间段内是否有 BFD 抖动、IS-IS 邻接变化或配置变更。第三步,查看追踪:沿 SR Policy 路径逐跳查看时延与丢包,确认是某条链路拥塞还是某节点转发异常。若追踪显示某 P 节点入队列丢弃增加,而指标显示该接口利用率超过 85%,则可判断为拥塞导致,需调整 SR Policy 候选路径或扩容。这个顺序不是固定流程,但体现了三类数据从“发现”到“定位”的分工。
最后需要强调,三大支柱的数据必须统一时间基准和对象标识。设备名、接口名、SR Policy 颜色、BGP 邻居地址等标识要在指标、日志、追踪中保持一致,否则跨数据源关联会非常困难。骨干网可观测性工程的核心,不是采集更多数据,而是让三类数据在同一个判断链条上可关联、可验证。