网络基础回顾：TCP/IP协议栈、内核网络开销与传输瓶颈

在深入 RDMA 与 GPU 协同之前，必须先厘清传统网络栈的工作方式。绝大多数数据中心应用至今仍运行在 TCP/IP 协议栈之上，而这一栈的每一层都伴随着拷贝、中断、上下文切换与协议处理开销。理解这些开销的来源，是理解 RDMA 为何能带来数量级性能提升的前提。

TCP/IP 协议栈的分层处理路径

当一台服务器上的应用向另一台服务器发送数据时，数据并非直接“流入”网卡，而是沿着一条纵深路径逐层下行。以一次典型的 8KB 发送为例，其路径如下：

1. 应用层：调用 send()，将用户态缓冲区中的数据交给内核。
2. Socket 层：内核将数据从用户缓冲区拷贝到内核 Socket 发送缓冲区，并附加 Socket 元数据。
3. 传输层（TCP）：为数据添加 TCP 头，计算校验和，处理分段（Segmentation）、拥塞窗口与重传逻辑。
4. 网络层（IP）：添加 IP 头，执行路由查找，确定下一跳地址。
5. 链路层（以太网）：添加 MAC 头，通过 DMA 将数据从内核缓冲区搬运到网卡 FIFO。
6. 网卡硬件：将数据包发送到物理链路。

接收路径则是上述过程的严格逆序，且每一步都可能触发 CPU 中断。下图展示了传统 TCP/IP 发送路径中数据拷贝与协议处理的分布：

从图中可以清晰看到，一次简单的数据发送至少经历 两次完整的内存拷贝（用户态→内核态、内核态→网卡 DMA 区域），以及 多次上下文切换。这些开销在万兆甚至百兆网络中尚可接受，但当网络带宽提升到 25GbE、100GbE 甚至 400GbE 时，CPU 将不堪重负。

内核网络开销的量化分析

为了更直观地理解传统网络的性能天花板，我们以一台配置 Intel Xeon 8380（40 核）的服务器为例，测量其处理 TCP 小包（64B）时的实际吞吐：

开销类型	单包开销	100 万包/秒 CPU 占用	说明
系统调用 (send/recv)	~1.5 μs	1.5 核	每次调用需陷入内核
数据拷贝 (memcpy)	~0.8 μs (8KB)	0.8 核	用户态↔内核态各一次
TCP 协议处理	~2.0 μs	2.0 核	校验和、序列号、窗口管理
IP 路由查找	~0.3 μs	0.3 核	路由表缓存命中时
中断处理 (IRQ+SoftIRQ)	~1.2 μs	1.2 核	每包至少一次中断
上下文切换	~0.5 μs	0.5 核	用户态/内核态切换
合计	~6.3 μs/包	6.3 核	处理 100 万包/秒需 6.3 核

这意味着，即使是一台 40 核的高端服务器，其 CPU 也只能支撑约 600 万包/秒 的 TCP 小包处理能力。而现代 100GbE 网卡线速转发小包需要约 1.48 亿包/秒——两者相差超过 20 倍。这就是传统网络栈最根本的瓶颈：CPU 处理速度远跟不上网络线速。

传统网络瓶颈的典型场景

以下三个场景最能体现传统 TCP/IP 网络在 AI 与高性能计算中的无力感：

场景二：分布式存储中的 KV 查询

Redis 集群跨节点访问时，每次 GET 操作需经历完整的 TCP 往返。在 100GbE 网络下，实测平均延迟：

TCP 跨节点 KV 查询延迟分解：
  应用发送 → 内核协议栈处理:  12μs
  网络传输 (交换机转发):       3μs
  接收端内核协议栈处理:       15μs
  接收端应用处理:              5μs
  返回路径 (对称):           35μs
  ─────────────────────────────
  总计:                      70μs (P99 约 120μs)

其中内核协议栈处理占 超过 70% 的延迟，而真正的网络传输不到 5%。

场景三：NFV 虚拟网络功能

当数据包需要经过 vSwitch (如 Open vSwitch) 转发时，每个包需经历：物理网卡 → 内核 → vSwitch 用户态 → 内核 → 虚拟网卡 → 虚拟机。这一路径上的拷贝和调度开销使得单核转发性能通常不超过 1-2 Gbps，远低于物理线速。

常见误区与复盘