DPDK 基础架构：UIO/VFIO 驱动模型、大页内存管理与轮询模式

DPDK (Data Plane Development Kit) 的核心设计哲学是“绕过内核，用户态直接控制硬件”。本章深入剖析支撑这一哲学的三个基础支柱：UIO/VFIO 驱动模型（如何将设备控制权交给用户态）、大页内存管理（如何消除 TLB 抖动）、CPU 亲和性与轮询模式（如何最大化缓存命中率与吞吐量）。

2.1 UIO/VFIO 驱动模型：用户态接管硬件的钥匙

传统 Linux 网络驱动中，数据包从网卡到应用程序需经过：硬件中断 → 内核驱动 → 协议栈 → Socket → 系统调用 → 上下文切换。DPDK 通过 UIO (Userspace I/O) 或 VFIO (Virtual Function I/O) 驱动，将网卡的 PCIe 配置空间、BAR 空间（包括收发队列寄存器）直接映射到用户态进程的虚拟地址空间，从而消除内核态介入。

2.1.1 UIO 与 VFIO 对比

2.1.2 设备绑定流程（以 VFIO 为例）

1. 加载 VFIO 内核模块：modprobe vfio-pci
2. 解绑原内核驱动：echo "0000:02:00.0" > /sys/bus/pci/devices/0000:02:00.0/driver/unbind
3. 绑定 VFIO 驱动：echo "vfio-pci" > /sys/bus/pci/devices/0000:02:00.0/driver_override 然后 echo "0000:02:00.0" > /sys/bus/pci/drivers_probe
4. 验证：lspci -k -s 02:00.0 显示 "Kernel driver in use: vfio-pci"

# 使用 dpdk-devbind.py 工具一键绑定（推荐）
dpdk-devbind.py --bind=vfio-pci 0000:02:00.0
dpdk-devbind.py --status  # 查看绑定状态

2.1.3 UIO/VFIO 驱动模型架构图

2.2 大页内存管理：消除 TLB 抖动

DPDK 数据包处理通常需要分配数百 MB 甚至数 GB 的连续物理内存（用于 mbuf 池、描述符环、软件队列）。如果使用标准 4KB 页，TLB 只能覆盖极小的地址范围，导致频繁的 TLB 缺失（TLB Miss），每次缺失需查页表（多级页表遍历），严重拖累吞吐量。

大页（Hugepages）将页表项覆盖的内存范围从 4KB 提升到 2MB（默认）或 1GB（需 BIOS 支持），使得同样数量的 TLB 条目能映射数百倍的内存空间。

2.2.1 大页配置与验证

2.2.2 大页内存分配流程（DPDK EAL 视角）

1. EAL 初始化：调用 rte_eal_init()，扫描 /sys/kernel/mm/hugepages/ 获取可用大页信息。
2. mmap 大页文件：在 /mnt/huge 下创建临时文件，通过 mmap() 映射到用户态虚拟地址空间。
3. 物理地址获取：通过 /proc/self/pagemap 或 VFIO 的 IOMMU 映射获取物理地址，用于 NIC 的 DMA 操作。
4. 内存池创建：rte_mempool_create() 从大页区域切分 mbuf 和描述符。

// DPDK 大页内存分配核心代码示意（简化）
static int
hugepage_claim(struct hugepage_file *hugepg_tbl, unsigned n_pages) {
    int fd;
    char path[PATH_MAX];
    for (i = 0; i < n_pages; i++) {
        snprintf(path, sizeof(path), "/mnt/huge/rtemap_%d", i);
        fd = open(path, O_CREAT | O_RDWR, 0755);
        hugepg_tbl[i].orig_va = mmap(NULL, hugepage_sz,
                                     PROT_READ | PROT_WRITE,
                                     MAP_SHARED, fd, 0);
        // 锁定物理页，防止被 swap
        mlock(hugepg_tbl[i].orig_va, hugepage_sz);
        close(fd);
    }
    return 0;
}

2.2.3 大页 vs 普通页性能对比

2.3 CPU 亲和性与轮询模式

DPDK 的第三个基石是CPU 亲和性（CPU Affinity）与轮询模式驱动（PMD, Poll Mode Driver）。传统内核网络栈依赖硬件中断通知 CPU 有数据到达，中断上下文切换和 Cache 污染在高吞吐场景下成为瓶颈。DPDK 的 PMD 让应用程序线程在一个专用 CPU 核上持续轮询网卡的接收描述符环，一旦发现新数据包立即处理，完全消除中断开销。

2.3.1 CPU 亲和性绑定策略

• 核隔离（Isolate CPUs）：通过内核启动参数 isolcpus=2,3,4,5 将指定核从 Linux 调度器中隔离，避免内核线程干扰。
• 线程绑定：DPDK 使用 pthread_setaffinity_np() 或 rte_thread_set_affinity() 将每个 lcore 绑定到固定物理核。
• NUMA 感知：网卡所在 NUMA 节点上的核访问本地内存延迟更低，应优先绑定同节点核。

// DPDK lcore 绑定示例
unsigned lcore_id = rte_lcore_id();
cpu_set_t cpuset;
CPU_ZERO(&cpuset);
CPU_SET(lcore_id, &cpuset);  // 绑定到与 lcore_id 对应的物理核
if (pthread_setaffinity_np(pthread_self(), sizeof(cpu_set_t), &cpuset) != 0) {
    rte_exit(EXIT_FAILURE, "Cannot set affinity\n");
}

2.3.2 轮询模式驱动（PMD）工作流程

1. 初始化：PMD 在用户态初始化网卡，配置接收/发送描述符环（Ring），分配 DMA 内存。
2. 轮询接收：应用程序调用 rte_eth_rx_burst()，PMD 直接读取硬件寄存器中的接收描述符状态，若发现新包则返回 mbuf 指针数组。
3. 批量处理：应用程序对收到的 mbuf 进行协议解析、转发或交付给 VPP。
4. 轮询发送：调用 rte_eth_tx_burst()，PMD 将待发送的 mbuf 写入发送描述符环，通知网卡 DMA 发送。
5. 无中断循环：上述步骤在绑定核上无限循环，CPU 占用率 100%，但无上下文切换。

2.3.3 中断模式 vs 轮询模式对比

2.3.4 CPU 亲和性与轮询模式架构图

2.4 本章小结

DPDK 基础架构的三个组件形成了完整的用户态数据面闭环：

• UIO/VFIO 驱动模型：将硬件控制权从内核移交到用户态，消除系统调用与中断上下文切换。
• 大页内存管理：通过 2MB/1GB 大页消除 TLB 缺失，保障内存访问的确定性延迟。
• CPU 亲和性与轮询模式：专用核 + 持续轮询，最大化 Cache 利用率与吞吐量。