Kubernetes 多集群网络基础

在多集群架构中,网络是数据流动的“血管”。本章将系统梳理多集群通信的三种主流模式,对比 Service Mesh 与 CNI 在网络优化中的不同角色,并深入分析镜像拉取这一典型场景下的网络瓶颈,为后续使用 Calico CNI 进行传输优化奠定理论基础。

多集群通信模式

根据控制平面与数据平面的耦合程度,多集群通信可归纳为以下三种模式:

模式 通信路径 典型实现 适用场景
扁平网络(Flat Network) Pod IP 跨集群直接路由 Calico BGP、Cilium Cluster Mesh 低延迟、高吞吐,适合数据面紧密协作
网关代理(Gateway Proxy) 通过 Ingress/Gateway API 转发 Istio Ingress Gateway、Nginx Plus 安全隔离、流量治理,适合南北向入口
服务网格桥接(Service Mesh Bridge) Sidecar 代理间 mTLS 隧道 Istio Multi-Cluster、Linkerd Multi-Cluster 七层路由、灰度发布,适合微服务间调用
选型建议: 镜像拉取属于“节点到镜像仓库”的块数据传输,对吞吐和延迟敏感,但对七层治理无要求。因此 扁平网络模式 是最佳起点,这也是 Calico CNI 发挥优势的领域。

下图展示了三种模式在跨集群 Pod 通信时的路径差异:

多集群通信模式对比 多集群通信模式对比 集群 A Pod A1 Pod A2 集群 B Pod B1 Pod B2 ① 扁平网络(直接路由) 网关 A 网关 B ② 网关代理 Sidecar A Sidecar B ③ 服务网格桥接(mTLS) 说明 扁平网络直接路由 Pod IP,延迟最低;网关代理增加一跳但提供安全边界;服务网格桥接提供七层治理但引入额外开销。

Service Mesh vs CNI

在多集群网络中,Service Mesh 和 CNI 经常被混淆。两者在 OSI 模型中的层次和职责有本质区别:

维度 Service Mesh CNI(Container Network Interface)
OSI 层次 L4 / L7(传输层/应用层) L3 / L4(网络层/传输层)
核心功能 流量治理、可观测性、安全策略 IP 分配、路由、网络连通性
数据路径 Sidecar 代理拦截并转发 内核网络栈 + 路由规则
性能开销 较高(额外代理跳数 + 加密) 极低(接近原生内核转发)
典型产品 Istio、Linkerd、Consul Connect Calico、Flannel、Cilium
关键认知: CNI 解决“能不能通”的问题,Service Mesh 解决“通了以后怎么管”的问题。对于镜像拉取这种大块二进制数据传输,CNI 层面的优化(如 BGP 路由、IPIP 隧道、eBPF 加速)直接决定传输效率,而 Service Mesh 在此场景下反而会引入不必要的开销。

下图从数据路径角度对比两者在跨集群通信中的位置:

Service Mesh 与 CNI 数据路径对比 Service Mesh 与 CNI 数据路径对比 CNI 数据路径(L3/L4) Pod A(源) Pod B(目标) 内核网络栈(路由 + 转发) 直接通过内核路由转发,无额外代理 延迟:微秒级 | 吞吐:线速 Service Mesh 数据路径(L7) Pod A(源) Pod B(目标) Sidecar A Sidecar B 内核网络栈 经过两次 Sidecar 代理转发 + mTLS 加解密 延迟:毫秒级 | 吞吐:受代理性能限制

镜像拉取瓶颈分析

在多集群环境中,镜像拉取是最高频的跨集群数据传输场景之一。瓶颈通常出现在以下四个环节:

  1. 镜像仓库出口带宽:单个 Registry 实例的上行带宽有限,多集群并发拉取时容易打满。
  2. 跨集群网络延迟:物理距离或网络拓扑导致 RTT 增大,影响 TCP 拥塞控制。
  3. 镜像层重复传输:相同镜像层在不同集群被重复拉取,浪费带宽和存储。
  4. CNI 隧道封装开销:使用 IPIP、VXLAN 等隧道时,额外的包头会降低有效载荷比。
典型数据: 在一个 3 集群、每集群 50 节点的环境中,部署一个 500MB 的镜像(5 层),若未做任何优化,跨集群重复传输的数据量可达 500MB × 3 × 50 = 75GB。其中 CNI 隧道封装可能额外增加 5%~15% 的带宽消耗。

下表量化了各瓶颈环节的影响因子:

瓶颈环节 影响指标 典型恶化倍数 优化方向
仓库出口带宽 拉取吞吐 2x ~ 5x(多集群并发) P2P 分发、边缘缓存
跨集群网络延迟 TCP 吞吐 1.5x ~ 3x(RTT 增加) BGP 直连、Anycast
镜像层重复传输 总传输量 N 倍(集群数量) 跨集群层共享、Dedup
CNI 隧道封装 有效带宽 1.05x ~ 1.15x(包头开销) Calico BGP 模式、eBPF

从上述分析可以看出,CNI 层面的优化(尤其是扁平路由和减少封装) 是解决镜像拉取瓶颈的基础。Calico 的 BGP 模式可以直接在 L3 层建立跨集群路由,避免隧道封装带来的额外开销,同时配合策略路由实现镜像流量的智能调度。这正是本课程后续章节将要深入展开的核心技术。