📚 课程目录第4章 Calico网络策略模型

4. Calico 网络模式：IPIP 模式、VXLAN 模式、Direct 模式对比与选择

Calico 作为 Kubernetes 生态中最流行的 CNI 插件之一，其核心设计理念是纯三层网络，不依赖 Overlay 隧道即可实现高性能容器通信。但在跨子网、跨数据中心或公有云环境中，原生三层路由可能受限于底层网络基础设施。为此，Calico 提供了三种主要的数据面转发模式：IPIP、VXLAN 和 Direct (Direct 路由)。理解三者的差异，是排查容器网络缓存命中故障、优化数据路径的关键前提。

核心认知： 缓存命中故障往往与数据包的封装/解封装次数、路由表查找深度直接相关。选择错误的网络模式，会导致额外的 CPU 开销和延迟，进而影响容器镜像拉取、服务间调用的缓存效率。

4.1 三种模式的工作原理

4.1.1 Direct 模式（Direct 路由）

Direct 模式是 Calico 的默认模式，也是最理想的性能模式。它依赖底层网络（L2 或 L3）直接路由容器 Pod IP。Calico 通过 BGP 协议将 Pod 路由信息广播给网络中的物理路由器或主机，实现 Pod 之间的直接通信，无需任何封装。

数据路径： Pod A → veth pair → caliX → 宿主机路由表 → 物理网络 → 目标宿主机 → caliX → veth pair → Pod B。
前提条件： 所有节点必须在同一个二层网络内，或者物理路由器支持 BGP 并配置了相应的路由。
性能： 最高，接近原生网络性能，无额外封装开销。

4.1.2 IPIP 模式

IPIP 是一种简单的 Overlay 隧道技术，将原始的 Pod IP 数据包作为 Payload，外层再封装一个新的 IP 头（源/目标为宿主机 IP）。Calico 使用 IPIP 隧道（通常为 tunl0 接口）来跨越三层网络边界。

数据路径： Pod A → veth pair → caliX → 宿主机路由 → tunl0 接口 → IPIP 封装 → 物理网络 → 目标宿主机 → IPIP 解封装 → caliX → veth pair → Pod B。
MTU 影响： 由于额外增加了 20 字节的 IP 头，物理链路的 MTU 需要相应降低（通常设置为 1480），否则会导致分片或丢包。
性能： 中等，封装/解封装消耗少量 CPU，延迟略高于 Direct 模式。

4.1.3 VXLAN 模式

VXLAN 是一种更现代的 Overlay 技术，使用 UDP 封装（端口 4789）。相比 IPIP，VXLAN 支持更大的网络标识符（VNI，24 位），更适合大规模多租户环境。Calico 的 VXLAN 模式通常使用 vxlan.calico 接口。

数据路径： Pod A → veth pair → caliX → 宿主机路由 → vxlan.calico 接口 → VXLAN 封装（UDP+IP） → 物理网络 → 目标宿主机 → VXLAN 解封装 → caliX → veth pair → Pod B。
MTU 影响： 封装开销为 50 字节（20 IP + 8 UDP + 8 VXLAN），MTU 通常需设置为 1450。
性能： 略低于 IPIP，因为 UDP 封装/解封装和校验和计算会消耗更多 CPU 资源。

  缓存故障关联： 在 IPIP 和 VXLAN 模式下，数据包经过隧道接口时，内核会进行额外的路由查找和邻居子系统处理。如果宿主机 conntrack 表项或路由缓存未命中，会显著增加首次通信的延迟，这在容器镜像仓库拉取大量小文件时尤为明显。

4.2 核心对比表格

对比维度	Direct 模式	IPIP 模式	VXLAN 模式
封装协议	无	IP in IP (协议号 4)	UDP (端口 4789)
额外开销	0 字节	20 字节	50 字节
推荐 MTU	1500 (物理链路)	1480	1450
网络要求	L2 连通或 BGP 支持	仅需 L3 连通	仅需 L3 连通
性能	最高	中等	较低
CPU 消耗	最低	中等	较高
多租户隔离	依赖网络策略	有限	支持 VNI (24位)
典型场景	私有云、同子网	跨子网、混合云	大规模、公有云、多租户

4.3 数据包封装流程对比（SVG 图示）

下图直观展示了三种模式下，数据包从 Pod A 到 Pod B 的封装与转发路径差异。

4.4 模式选择决策树

在实际生产环境中，选择哪种模式需要综合考虑网络基础设施、性能要求和运维复杂度。以下决策树可帮助快速定位：

所有节点是否在同一二层网络？
- 是 → 优先选择 Direct 模式（性能最佳，缓存命中率最高）。
- 否 → 进入下一步。
物理路由器是否支持 BGP？
- 是 → 配置 BGP Peering，仍可使用 Direct 模式（推荐）。
- 否 → 必须使用 Overlay 模式。
是否需要多租户隔离（VNI）？
- 是 → 选择 VXLAN 模式。
- 否 → 选择 IPIP 模式（开销更小，性能略优）。
是否在公有云环境（如 AWS、GCP）？
- 是 → 优先选择 VXLAN 模式（兼容性更好，避免云商对 IPIP 协议的限制）。
- 否 → 根据前几步判断。

缓存故障排查提示： 如果发现容器首次访问镜像仓库或服务时延迟极高，而后继请求恢复正常，应重点检查 Overlay 模式下的隧道接口状态、conntrack 表是否满载、以及路由缓存是否被频繁刷新。在 Direct 模式下，此类问题通常与 BGP 路由收敛或 ARP 表项老化有关。

4.5 配置示例

在 Calico 中，可以通过 IPPool 资源或全局 Felix 配置来切换模式。以下为使用 IPPool 指定 VXLAN 模式的 YAML 示例：

apiVersion: projectcalico.org/v3
kind: IPPool
metadata:
  name: default-ipv4-ippool
spec:
  cidr: 10.0.0.0/16
  ipipMode: Never          # 关闭 IPIP
  vxlanMode: Always        # 启用 VXLAN
  natOutgoing: true
  nodeSelector: all()

若要启用 IPIP 模式，只需将 ipipMode 设置为 Always，vxlanMode 设置为 Never。Direct 模式则两者均为 Never，并确保 BGP 配置正确。

4.6 性能基准与缓存影响

根据社区基准测试数据，三种模式在吞吐量和延迟上的差异如下表所示（基于 1500 MTU 物理链路，单位：Mbps / μs）：

测试项	Direct 模式	IPIP 模式	VXLAN 模式
TCP 吞吐量 (单流)	9400 Mbps	8700 Mbps	8100 Mbps
UDP 延迟 (P50)	35 μs	48 μs	62 μs
UDP 延迟 (P99)	52 μs	78 μs	105 μs
路由缓存命中率 (首次连接)	99.2%	96.5%	94.1%

从表中可以看出，Direct 模式在延迟和缓存命中率上具有明显优势。对于容器镜像管理场景，频繁的 HTTP 短连接（如 docker pull 的 manifest 请求）对延迟和缓存命中极为敏感，因此应尽可能选择 Direct 模式或优化 Overlay 模式的 conntrack 参数。