3. AF_XDP核心架构与组件详解

AF_XDP 的性能优势并非来自某个单点优化，而是来自一套职责清晰、彼此解耦的组件体系。理解这套体系的关键，是先把“谁负责什么”分清楚：UMEM 负责内存，四个环形队列负责搬运，XDP 程序负责在驱动层做分流与重定向，XSK socket 负责把内核与用户态进程绑定起来。本节围绕这四类对象展开，重点说明它们如何协作，以及数据面与控制面为何要分离。

UMEM：所有数据包的共享内存池

UMEM（User Memory）是 AF_XDP 的根基。它是一块由用户态进程分配、并对内核可见的连续内存区域，通常通过 mmap 或大页（hugepage）方式申请。UMEM 被划分为大小相等的若干“帧”（frame），每帧默认 2048 字节或 4096 字节，帧是 AF_XDP 中数据包的最小存储单元。每个帧有一个从 0 开始的整数偏移量（addr），这个偏移量就是后续所有环形队列中传递的“地址”。

需要特别强调的是：AF_XDP 环形队列里流动的从来不是数据包本身，而是帧偏移量。数据包内容始终留在 UMEM 中，内核与用户态只交换“哪一帧可用、哪一帧有包”的元信息。这种设计避免了数据拷贝，也是零拷贝路径成立的前提。UMEM 通常还会被划分为多个 chunk，每个 chunk 对应一个 XSK socket，便于多队列并行。

四个环形队列：FILL、RX、TX、COMPLETION

AF_XDP 为每个 XSK socket 维护四个单生产者单消费者（SPSC）环形队列，它们两两成对，分别服务于接收和发送两个方向。

  • FILL 环：由用户态生产、内核消费。用户态把“空闲可用帧”的偏移量填入 FILL，相当于告诉内核“这些帧可以拿去装新收到的包”。
  • RX 环：由内核生产、用户态消费。内核收到包后，从 FILL 取一个空闲帧写入数据，再把该帧偏移量和长度写入 RX，用户态从 RX 读取即可拿到包。
  • TX 环：由用户态生产、内核消费。用户态要发包时，把待发送帧的偏移量和长度写入 TX，内核据此从 UMEM 取数据发送。
  • COMPLETION 环：由内核生产、用户态消费。内核发送完成后，把已释放的帧偏移量写回 COMPLETION，用户态回收这些帧，重新投入 FILL 或 TX 复用。

这四个环构成一个闭环：接收方向是 FILL → RX，发送方向是 TX → COMPLETION。任何一帧的生命周期都在这两个闭环中流转，理解这一点，就理解了 AF_XDP 数据面的全部节奏。

AF_XDP 四环协作与 UMEM 帧流转 UMEM 共享内存池 帧0 | 帧1 | 帧2 | … | 帧N（偏移量寻址） 用户态进程 XSK socket 绑定 填充 FILL 读取 RX 写入 TX 回收 COMPLETION 内核 / 驱动 XDP 程序分流 消费 FILL 生产 RX 消费 TX 生产 COMPLETION 四个 SPSC 环形队列 FILL 环（空闲帧 → 内核） RX 环（收包帧 → 用户态） TX 环（待发帧 → 内核） COMPLETION 环（回收帧） 帧偏移量寻址 接收路径 发送路径 UMEM 共享内存

XDP 程序与 XSK socket 的协作

XDP 程序运行在驱动收包的最早位置，它通过 bpf_redirect_map() 把匹配的包重定向到某个 XSKMAP。XSKMAP 是内核中的一张映射表，键是队列 ID，值是已绑定的 XSK socket。用户态进程通过 bind() 把 XSK socket 绑定到指定网卡的指定队列，并注册到 XSKMAP 中。这样，XDP 程序只需查表即可决定把包投递给哪个用户态进程。

协作流程可以概括为：网卡收到包 → 驱动触发 XDP 程序 → XDP 程序判断是否属于本进程 → 命中则重定向到 XSKMAP 对应的 XSK → 内核从 FILL 取空闲帧写入数据 → 帧偏移量进入 RX 环 → 用户态从 RX 读取并处理。发送方向则相反：用户态把待发帧写入 TX → 内核发送 → 发送完成后帧偏移量进入 COMPLETION → 用户态回收。

数据面与控制面的分离设计

AF_XDP 最值得学习的设计思想，是数据面与控制面的彻底分离。数据面只做一件事：在 UMEM 与四个环形队列之间搬运帧偏移量，路径极短、无锁、无系统调用（在轮询模式下）。控制面则负责 socket 创建、UMEM 注册、队列绑定、XSKMAP 更新、XDP 程序加载与卸载等低频操作。

这种分离带来三个直接好处。第一，数据面可以完全在用户态轮询，避免每次收发包都陷入内核，显著降低延迟。第二，控制面变更不影响数据面热路径，例如动态调整 XDP 程序不会中断正在进行的收发。第三，多队列可以并行扩展，每个队列独立绑定一个 XSK socket，天然适配多核。

在实际开发中，建议把控制面逻辑（绑定、注册、加载 XDP）与数据面循环（poll FILL/RX/TX/COMPLETION）放在不同的代码路径甚至不同的线程中。数据面线程应尽量绑定 CPU、避免锁和内存分配，控制面线程则负责生命周期管理。

一个可参考的初始化顺序

下面给出一个典型的初始化顺序示例，帮助把上述组件关系落到代码结构上。参数为教学示例，实际值需根据网卡队列数和业务包大小调整。

1. 创建 UMEM：mmap 申请 64MB 大页，帧大小 2048，共 32768 帧
2. 创建 XSK socket：socket(AF_XDP, SOCK_RAW, 0)
3. 绑定 UMEM 到 XSK：setsockopt(SOL_XDP, XDP_UMEM_REG)
4. 设置四个环大小：FILL=2048, RX=2048, TX=2048, COMPLETION=2048
5. 绑定 XSK 到网卡队列：bind() 指定 ifindex 与 queue_id
6. 将 XSK 注册进 XSKMAP：bpf_map_update_elem()
7. 加载 XDP 程序：bpf_redirect_map() 指向 XSKMAP
8. 进入数据面循环：填充 FILL → poll RX → 处理 → 写 TX → 回收 COMPLETION

判断初始化是否成功，可以观察三个信号：bind() 返回 0 且无 errno；XSKMAP 中对应键值可读回；向 FILL 填充后，RX 环在收到流量时 producer 指针递增。若 RX 长期为空而网卡确有流量，应优先检查 XDP 程序是否命中、XSKMAP 键是否与队列 ID 一致。

← 上一章 📖 返回目录 下一章 →