4. Calico 数据面模式对比：VXLAN、IPIP、BGP直连、eBPF的缓存利用差异

Calico 支持多种数据面转发模式，不同模式在数据包封装/解封装、路由查找、连接跟踪等环节对 CPU 缓存（L1/L2/L3 Cache）的利用效率存在显著差异。缓存命中率直接影响容器网络的 PPS 和尾延迟。本节从缓存行（Cache Line）占用、TLB 压力、元数据访问路径三个维度，对比四种主流模式的缓存利用特征。

4.1 四种数据面模式的核心缓存行为

4.2 缓存利用差异的微观分析

4.2.1 VXLAN 模式：封装头导致缓存行分裂

VXLAN 在原始数据包前添加 8 字节 VXLAN 头 + 8 字节 UDP 头 + 20 字节 IP 头 + 14 字节以太网头，共 50 字节。当网卡将数据包 DMA 到内存时，原始 TCP/UDP 头部被推到第 51 字节之后。CPU 在解析五元组时，需要读取两个缓存行（第 0-63 字节和第 64-127 字节），缓存行分裂概率增加 40% 以上。

4.2.2 IPIP 模式：封装头较小，缓存压力中等

IPIP 仅添加 20 字节 IP 头，原始数据包头部仍落在第一个缓存行内（0-63 字节）。CPU 只需一次缓存行读取即可获取完整五元组。但 IPIP 仍需经过内核 FIB 路由查找，路由表条目较多时，L3 缓存（LLC）压力仍较大。

4.2.3 BGP 直连模式：无封装，缓存友好

BGP 直连模式不进行任何封装，数据包直接通过主机路由转发。路由表条目仅包含 Pod CIDR 和主机 IP 的映射，条目数通常为节点数级别（几百到几千），远小于 VXLAN 的 ARP 表 + FIB 表。L2/L3 缓存命中率可达 95% 以上。

4.2.4 eBPF 模式：BPF 映射与缓存感知

eBPF 模式使用 BPF 哈希映射（BPF_MAP_TYPE_HASH）存储流表、路由和端点信息。映射条目通常设计为与缓存行对齐（例如 64 字节对齐），减少伪共享（False Sharing）。BPF 程序在 XDP 或 TC 钩子中直接查询映射，绕过内核协议栈的多次表项遍历，缓存访问路径缩短 50% 以上。

4.3 缓存利用差异的架构对比图

下图展示了四种模式在数据包处理路径上的缓存访问层级差异。深色节点表示缓存访问热点，箭头宽度表示缓存行读取次数。

4.4 缓存优化策略对比

针对不同模式的缓存瓶颈，可采取以下优化策略：

• VXLAN 模式： 启用 GRO（Generic Receive Offload）和 TSO（TCP Segmentation Offload），减少 CPU 处理小包次数；调整 net.core.rmem_default 和 net.core.wmem_default 到 2MB 以上，减少缓存抖动。
• IPIP 模式： 使用 ip route 的 nexthop 聚合路由，减少 FIB 条目数；开启 rp_filter 严格模式，避免无效路由查询。
• BGP 直连模式： 配合 calico-node 的 FELIX_FIBFASTENABLED=true，启用快速 FIB 更新；使用 ip neigh 静态 ARP 条目，减少邻居表缓存未命中。
• eBPF 模式： 确保 BPF 映射的 key_size 和 value_size 为 64 字节对齐；使用 BPF_F_NO_PREALLOC 标志减少内存碎片；在 XDP 程序中手动预取下一跳映射（__builtin_prefetch）。

4.5 缓存命中率与转发性能的关联

缓存命中率直接影响容器网络的 PPS 和延迟。下表总结了不同模式在典型场景下的缓存指标与性能关系：