4. 无锁环形队列与批量处理机制

在 Marvell DPU 这类多核 SoC 上，数据面通常由多个 ARM 核并行处理报文，同时还有硬件加速器、DMA 引擎参与描述符的搬运。当多个核需要共享同一批描述符资源（例如空闲缓冲池、完成队列、回收队列）时，传统互斥锁会带来两个问题：一是锁竞争导致核间串行化，二是持锁期间可能被中断或调度打断，造成尾延迟抖动。无锁环形队列（Lock-Free Ring）正是为消除这类竞争而设计的核心数据结构，它配合批量描述符回收机制，可以把每包的平均同步开销压到接近常数级别。

无锁环形队列的基本结构

无锁环形队列的本质是一个固定容量的数组加上两个单调递增的索引：生产者索引（head）和消费者索引（tail）。在单生产者单消费者（SPSC）场景下，生产者只修改 head，消费者只修改 tail，二者通过内存屏障保证可见性，无需任何锁即可安全并发。判断队列空的条件是 head == tail，判断满的条件是 head - tail == capacity。由于索引单调递增而不回绕，容量判断天然避免了“空满同值”的歧义。

在 Marvell DPU 上，环形队列的每个槽位通常存放的是描述符指针或描述符索引，而不是描述符本体。描述符本体按 cache line 对齐单独存放，避免伪共享。下面是一个典型的 SPSC 环形队列结构定义示例：

struct spsc_ring {
    uint32_t head __attribute__((aligned(64)));  // 生产者索引
    uint32_t tail __attribute__((aligned(64)));  // 消费者索引
    uint32_t capacity;
    uint32_t mask;                               // capacity - 1
    void    *slots[] __attribute__((aligned(64))); // 槽位数组
};

注意 head 和 tail 各自独占一个 cache line，这是避免伪共享的关键。如果二者落在同一 cache line，生产者更新 head 会导致消费者所在核的 cache line 失效，反之亦然，核间缓存一致性流量会急剧上升。

批量入队与批量出队

单条入队/出队虽然逻辑简单，但每次操作都要执行内存屏障和索引更新，摊销到每包的开销仍然可观。批量处理的核心思想是：一次获取多个槽位，批量写入或读取，最后只更新一次索引。这样内存屏障和索引更新的成本被分摊到 N 个描述符上。

以批量出队为例，消费者先读取 head，计算可用数量 avail = head - tail，取 batch = min(avail, MAX_BATCH)，然后连续读取 batch 个槽位，最后一次性更新 tail = tail + batch。生产者侧同理。MAX_BATCH 的取值需要权衡：太小则摊销效果不足，太大则单次处理延迟增加，且可能超出下游处理能力。在 Marvell DPU 的典型数据面中，MAX_BATCH 常取 8、16 或 32，具体取决于报文大小和核间负载均衡策略。

批量大小不是越大越好。当队列深度较浅或流量突发性强时，过大的 batch 会导致消费者长时间占用队列，生产者无法及时入队，反而增加丢包风险。建议根据队列容量和平均突发长度选择 batch，一般不超过容量的 1/4。

cache line 对齐与伪共享规避

多核环境下，性能瓶颈往往不在算法本身，而在缓存一致性协议。ARM 架构的 cache line 通常为 64 字节（部分平台为 128 字节），如果两个核频繁写入同一 cache line 的不同变量，就会产生伪共享（false sharing），导致 cache line 在核间反复弹跳。

规避伪共享的常用手段有三类：第一，将高频写入的变量按 cache line 对齐并隔离，如上面的 head 和 tail；第二，将描述符本体按 cache line 对齐，确保一个描述符的修改不会影响相邻描述符；第三，对于只读或低频更新的元数据，可以集中存放以减少 cache line 占用。在 Marvell DPU 上，还可以利用硬件提供的 cache 维护指令（如 DC CIVAC）在必要时主动清理，但应避免在热路径中频繁使用。

批量描述符回收机制

描述符回收是数据面收尾的关键环节。报文处理完成后，描述符需要归还到空闲池，供后续收包复用。如果每处理完一个报文就立即归还一个描述符，回收路径的同步开销会与处理路径相当。批量回收的做法是：每个核维护一个本地回收缓存（local free cache），处理完成的描述符先放入本地缓存，当本地缓存达到阈值（如 32 个）时，再一次性批量归还到全局空闲环形队列。

这种两级结构的好处是：本地缓存完全无锁，核内操作零竞争；批量归还时，每次只竞争一次全局队列的入队操作，且一次归还多个，显著降低了全局队列的访问频率。下面是一个批量回收的伪代码示例：

#define LOCAL_FREE_THRESHOLD 32

static struct desc *local_free[LOCAL_FREE_THRESHOLD];
static int local_free_cnt = 0;

void desc_free(struct desc *d) {
    local_free[local_free_cnt++] = d;
    if (local_free_cnt == LOCAL_FREE_THRESHOLD) {
        ring_enqueue_bulk(&global_free_ring, local_free, local_free_cnt);
        local_free_cnt = 0;
    }
}

需要注意的是，本地缓存阈值与批量归还大小应保持一致或成整数倍关系，避免出现“攒了很久但每次只还一个”的低效模式。同时，在核退出或队列销毁前，必须执行一次强制 flush，把本地缓存中剩余的描述符全部归还，否则会造成描述符泄漏。

核间竞争与每包开销的量化观察

为了判断无锁队列和批量机制是否真正生效，可以在示例平台上采集几个关键指标：每包平均入队/出队次数、每次批量操作的平均描述符数、cache line 弹跳次数（可通过 PMU 事件如 L2D_CACHE_REFILL 观察）、以及不同核之间的队列访问冲突率。一个合理的预期是：在 4 核并行收包、批量大小为 16 的配置下，每包同步开销相比单条操作可下降 60% 以上，核间 cache 一致性流量下降约一个数量级。这些数值属于示例性估算，实际结果取决于具体平台、流量模型和队列深度。

无锁环形队列 + 批量描述符回收 数据流 生产者核 (Core 0) 收包 / 填充描述符 批量入队 batch=16 全局无锁环形队列 (SPSC) D0 D1 D2 空 空 空 head=3 tail=0 capacity=6 消费者核 (Core 1) 批量出队 batch=16 报文处理 入队 出队 本地回收缓存 local_free[32] 无锁 · 核内私有 阈值 32 触发批量归还 处理完成 批量归还 全局空闲描述符池 环形队列 · 批量归还 供生产者核复用 获取空闲描述符 cache line 对齐与伪共享规避 head (64B 对齐) 独占 cache line tail (64B 对齐) 独占 cache line 描述符本体 按 64B 对齐隔离 批量操作摊销 屏障/索引更新 ÷ batch

实践中的关键检查点

在 Marvell DPU 上落地无锁环形队列与批量回收时，建议重点检查以下几点。第一，确认 head 和 tail 是否分别独占 cache line，可通过编译器对齐属性或手动 padding 实现。第二，确认批量大小与队列容量匹配，避免 batch 超过容量导致死锁或空转。第三，确认本地回收缓存在核退出前被 flush，防止描述符泄漏。第四，确认内存屏障使用正确：生产者更新 head 前需要 release 屏障，消费者读取 head 后需要 acquire 屏障，ARM 架构下可使用 __atomic 系列内建函数或 dmb ish 指令。第五，在性能调优阶段，用 PMU 观察 L2D_CACHE_REFILL 和核间冲突事件，验证伪共享是否真正消除。

无锁环形队列与批量处理机制并不是孤立的优化点，它与描述符管理、核间负载均衡、DMA 搬运策略共同构成数据面性能的基础。掌握这一节的内容后，读者应能独立设计一个 SPSC 无锁队列，并配合本地回收缓存实现批量描述符归还，从而在多核 DPU 上获得稳定且可预测的每包处理开销。

← 上一章 📖 返回目录 下一章 →