3. DPDK核心架构与PMD原理

DPDK 的性能并非来自某一个“神奇函数”，而是由一组相互咬合的机制共同支撑：EAL 负责把进程、CPU 核、内存和大页资源组织成可被高速访问的运行环境；内存池提供固定大小对象的批量分配；环形队列在核间传递描述符；PMD 以轮询方式持续从网卡收包；无锁数据结构则让多核并发访问时尽量避免锁竞争。理解这五者的分工与连接关系，是后续做负载均衡和流量处理的基础。

EAL：把资源“钉”在正确的核与内存上

EAL（Environment Abstraction Layer）是 DPDK 的入口层。它完成的主要工作包括：解析命令行参数、初始化大页内存、绑定 CPU 核、创建每核的线程（lcore）、初始化 PCI 设备与内存池。典型启动参数如下：

./l2fwd -l 0-3 -n 4 --socket-mem 1024,1024 \
  --huge-dir /mnt/huge --file-prefix lb \
  -a 0000:03:00.0 -a 0000:03:00.1 -- -p 0x3

其中 -l 0-3 指定使用 0～3 号逻辑核，-n 4 表示每 socket 4 个内存通道，--socket-mem 1024,1024 表示两个 NUMA 节点各预留 1GB 大页内存，-a 指定要接管的网卡 PCI 地址。EAL 初始化完成后，每个 lcore 上运行一个主循环，核与核之间通过环形队列和内存池共享数据。这里的关键约束是：网卡、内存池和访问它的 lcore 应尽量落在同一个 NUMA 节点，否则跨节点访问会显著增加延迟。

内存池：固定大小对象的批量分配

DPDK 的 rte_mempool 不是通用堆分配器，而是面向固定大小对象的池化分配器。它预先从大页内存中申请一大块连续区域，再切成等长对象，用环形队列维护空闲对象索引。分配时从空闲环取出一个索引，释放时再放回。由于对象大小固定、地址连续，分配和释放都只需操作索引，不需要遍历空闲链表，也不产生碎片。

创建内存池的典型调用如下：

struct rte_mempool *mp = rte_pktmbuf_pool_create(
    "MBUF_POOL",          /* 池名 */
    8192,                 /* 对象数量 */
    256,                  /* 每核缓存对象数 */
    0,                    /* 私有数据大小 */
    RTE_MBUF_DEFAULT_BUF_SIZE, /* 每对象数据区大小 */
    rte_socket_id());     /* NUMA 节点 */

这里 8192 个 mbuf 是示例值，实际应按“网卡队列深度 × 核数 × 突发长度”估算。每核缓存（per-lcore cache）是内存池的重要优化：每个 lcore 在本地缓存一批空闲对象，分配和释放优先走本地缓存，只有缓存耗尽或溢出时才访问全局空闲环，从而减少多核争用。

环形队列：核间传递描述符的无锁通道

rte_ring 是 DPDK 中核间通信的核心结构，常用于生产者—消费者模型。它本质上是一个固定大小的环形缓冲区，入队和出队通过移动头尾指针完成，并使用 CAS（compare-and-swap）或内存屏障保证多核安全。环形队列支持单生产者单消费者（SPSC）和多生产者多消费者（MPMC）两种模式，前者无需 CAS，性能更高。

在负载均衡场景中，收包核把 mbuf 指针放入 ring，工作核从 ring 取出处理，处理完再放回空闲 ring。这样收包与处理解耦，收包核可以持续以线速收包，工作核按自身节奏消费。环形队列的容量、批量入队/出队大小（burst）会直接影响吞吐和时延：burst 太小则每次操作开销占比高，burst 太大则单次处理时延上升。

轮询模式驱动：用持续查询替代中断

传统网卡驱动采用中断方式：收到包后触发中断，CPU 进入中断处理程序，再交给协议栈。中断上下文切换和缓存失效在高吞吐下会成为瓶颈。PMD（Poll Mode Driver）则相反：它不依赖中断，而是由 lcore 在一个循环中不断调用 rte_eth_rx_burst() 查询网卡接收队列，有包就取，没包就继续轮询。

while (1) {
    nb_rx = rte_eth_rx_burst(port, 0, pkts, BURST_SIZE);
    if (nb_rx == 0) continue;
    /* 处理 pkts[0..nb_rx-1] */
    nb_tx = rte_eth_tx_burst(port, 0, pkts, nb_rx);
    /* 未发送成功的包需释放或重试 */
}

轮询模式把“等待”变成“主动查询”，消除了中断开销，但也意味着该 lcore 会被完全占用。因此 DPDK 通常要求把 lcore 从操作系统调度中隔离出来（isolcpus），并关闭对应核上的其他任务。判断 PMD 是否正常工作的直接依据是：rte_eth_rx_burst 的返回值持续大于 0，且 rte_eth_stats_get 中 ipackets 增长与预期速率一致；若长期为 0，应检查网卡是否绑定到 vfio-pci、队列是否配置、以及 lcore 是否真的在轮询。

无锁数据结构：减少争用的组织方式

DPDK 的“无锁”并不是完全没有同步，而是尽量避免阻塞式锁。常见手段包括：每核独立数据结构（per-lcore）、环形队列的原子指针操作、内存池的每核缓存、以及 RCU 式的读多写少结构。以每核统计为例，每个 lcore 维护自己的计数器，汇总时再累加，避免所有核争抢同一个全局变量。在负载均衡中，流表也可以按哈希分片到不同核，每核只操作自己的分片，从而把锁竞争降到最低。

五者如何协同：一条包的处理路径

把上述机制串起来看：EAL 启动后，lcore 0 绑定到网卡 RX 队列，进入 PMD 轮询循环；rte_eth_rx_burst 从网卡 DMA 区域取出一批 mbuf，这些 mbuf 来自预先创建的 rte_mempool；lcore 0 根据哈希或轮询策略，把 mbuf 指针通过 rte_ring 分发给 lcore 1、2 等工作核；工作核从 ring 取出 mbuf，查流表、做转发或负载均衡决策，再把结果 mbuf 放入发送 ring；lcore 3 从发送 ring 取出并调用 rte_eth_tx_burst 发回网卡。整个过程中，每个核只操作自己的本地缓存和分片数据，锁竞争被降到最低。

需要强调的是，DPDK 的“无锁”是设计目标而非绝对保证。当多个核必须访问同一份可变数据时，仍需使用原子操作或分片策略。工程上更常见的做法是：能分片就分片，能每核独立就每核独立，实在需要共享时再用 ring 或 RCU 传递所有权。理解这一点，才能在后续做负载均衡时合理划分收包核、工作核和发送核的职责，避免把性能瓶颈从网卡转移到锁上。