2. Arista数据中心网络架构与可观测性切入点

在 Arista 数据中心网络中,可观测性不是“额外加一层监控”,而是从架构设计阶段就要预留的采集面。要判断遥测数据从哪里取、镜像从哪里做、探针放在哪里,必须先看清 Spine-Leaf 拓扑、EVPN-VXLAN 叠加网络、MLAG 双活接入以及路由协议共同决定的流量路径。只有把“流量怎么走”和“数据在哪里可见”对应起来,采集点、镜像点和探针位置才不会拍脑袋决定。

Spine-Leaf 与路由协议决定东西向流量的可见位置

典型 Arista 数据中心采用两级 Clos:Leaf 作为接入层连接服务器、存储和边界设备,Spine 作为骨干层只负责高速转发。Leaf 与 Spine 之间通常运行 eBGP,每台 Leaf 用自己的 AS 号与所有 Spine 建立邻居,Spine 侧则常使用同一 AS 或按平面划分 AS。这样设计的好处是:任意两台 Leaf 之间的流量,都会经过“源 Leaf → 某台 Spine → 目的 Leaf”的固定跳数路径,路径可预测,采集点也容易定位。

对可观测性而言,关键判断是:东西向流量在 Leaf 上进入和离开,在 Spine 上只做中转。因此,服务器到服务器的流量,最完整的采集位置在源 Leaf 的上行口和目的 Leaf 的下行口;Spine 上看到的是聚合后的中转流量,适合做全局流量矩阵和拥塞趋势分析,但不适合做单条流的精细识别。若在 Spine 上做镜像,镜像口会承载大量混合流量,容易过载;若在 Leaf 上做镜像,则能按端口、按 VLAN、按 VNI 精确筛选。

EVPN-VXLAN 叠加网络带来的采集层次

EVPN-VXLAN 把二层广播域扩展到三层骨干之上。VTEP 通常落在 Leaf 上,VXLAN 封装在 Leaf 完成,Spine 只看到外层 IP 和 UDP 头部。这意味着:

  • 在 Leaf 的物理口上,可以看到原始以太网帧和内层 IP,适合做应用识别和流级遥测;
  • 在 Leaf 的 VXLAN 隧道口或上行口上,看到的是封装后的报文,适合分析 VNI 映射、隧道健康和跨子网路径;
  • 在 Spine 上,只能看到外层五元组,内层信息不可见,因此 Spine 不适合做租户级或应用级采集。

EVPN 控制面还决定了 MAC/IP 路由的发布范围。当某台 Leaf 上的主机发生迁移,EVPN 会更新路由,流量路径随之改变。可观测性系统必须能感知这种变化,否则采集点仍停留在旧路径上,数据就会失真。实际工程中,常把 Leaf 的 VTEP 地址、VNI、VLAN 与采集策略绑定,当 EVPN 路由更新时,采集策略同步刷新。

MLAG 双活接入与镜像点的选择

MLAG 让两台 Leaf 对服务器呈现为一台逻辑设备,服务器双上行分别接入两台 Leaf。此时流量可能走主用链路,也可能在故障时切换到备用链路。对镜像和探针部署来说,这意味着:

  • 如果只在主用 Leaf 上做镜像,切换后流量会丢失;
  • 正确做法是在 MLAG 对的两台 Leaf 上同时配置镜像策略,或使用 ERSPAN 将流量统一送到集中探针;
  • MLAG 的 peer-link 上会承载跨设备流量,也是重要的采集点,但需注意 peer-link 通常不承载普通数据流量,除非发生故障切换。

此外,MLAG 的 keepalive 链路和 peer-link 状态本身也是可观测性数据:peer-link 拥塞或 keepalive 抖动会直接影响双活接入的稳定性,应纳入遥测指标。

流量路径与采集点、镜像点、探针的对应关系

把上述架构放在一起,可以得到一张“流量路径—可见性”对应图。下图以两台服务器跨 Leaf 通信为例,标出了物理口、VXLAN 隧道、Spine 中转、MLAG 双归以及各类采集点的位置。图中同时区分了“流遥测采集”“镜像复制”“探针分析”三类切入点,便于在规划时按需选择。

Spine-Leaf + EVPN-VXLAN + MLAG 流量路径与可观测性切入点 Spine-1 / Spine-2(eBGP 骨干) 仅见外层 IP + UDP,适合流量矩阵与拥塞趋势 Leaf-1(VTEP) VXLAN 封装/解封装,内层可见 MLAG 主用 Leaf-2(VTEP) VXLAN 封装/解封装,内层可见 MLAG 备用 MLAG peer-link(跨设备流量,故障切换时承载) Server-A Server-B VXLAN 隧道(VNI 10010) ① 流遥测采集点(Leaf 下行口) ② 镜像点(Leaf 上行口,ERSPAN 源) ③ Spine 中转采集(仅外层,流量矩阵) ④ 目的 Leaf 采集点(内层可见) 集中探针 / 分析平台 接收 ERSPAN、gNMI、sFlow/IPFIX 图例 采集/镜像点 ERSPAN 到探针 VXLAN 隧道

采集点、镜像点与探针的工程选择

结合上图,实际部署时可以按以下原则取舍:

切入点 推荐位置 可见数据 适用场景
流遥测(sFlow/IPFIX) Leaf 下行口、上行口 五元组、VLAN、VNI、字节数 流量矩阵、租户用量、异常流检测
gNMI 订阅 Leaf/Spine 管理口 接口计数、队列深度、BGP 状态 秒级指标、拥塞与路由收敛监测
ERSPAN 镜像 Leaf 上行口或 MLAG 对 完整报文(含内层) 深度包检测、安全取证、应用识别
集中探针 独立分析服务器 ERSPAN 流、gNMI 流 跨 Leaf 关联分析、长期存储

需要特别注意的是,镜像和探针会带来额外带宽消耗。以 100G 上行口为例,若全量镜像,探针侧需要至少 100G 接收能力;实际工程中通常采用采样镜像或按 ACL 过滤,只复制关键业务流。ERSPAN 封装还会增加外层 IP 开销,规划时需预留 MTU 和带宽余量。

在 EVPN-VXLAN 环境中,建议把采集策略与 VNI 绑定:同一 VNI 内的流量在 Leaf 上采集,跨 VNI 的流量在 VTEP 出口采集。这样既能覆盖租户内通信,也能覆盖租户间通信,避免在 Spine 上做无效的全量镜像。
MLAG 环境下,如果只在一台 Leaf 上配置镜像,当 peer-link 故障或主备切换时,镜像流量会中断。正确做法是在 MLAG 对的两台 Leaf 上配置相同的镜像策略,或使用 ERSPAN 将流量统一送到集中探针,由探针侧做去重和关联。

最后,路由协议的可观测性同样不可忽略。eBGP 邻居状态、路由表变化、EVPN 路由更新,都是判断流量路径是否发生偏移的关键信号。把这些控制面事件与数据面遥测关联起来,才能在路径切换时快速定位采集点是否仍然有效。例如,当某台 Leaf 的 BGP 邻居 down 后,流量会绕行其他 Spine,此时原采集点可能不再承载该流,需要动态调整采集策略或依赖集中探针的全局视图。

总结来说,Arista 数据中心的可观测性切入点应遵循“数据面在 Leaf、控制面在管理口、深度分析在探针”的分工:Leaf 负责精细采集和镜像,Spine 负责全局趋势,MLAG 对保证高可用,EVPN 提供租户维度,路由协议提供路径变化信号。把这些位置和关系提前规划好,后续的遥测数据才真正可用、可关联、可行动。