4. DMA 描述符管理与环形缓冲区

DMA 描述符管理与环形缓冲区是 DMA 传输的核心数据平面。描述符承载传输元数据（源地址、目的地址、长度、控制标志），而环形缓冲区则提供描述符在软件与硬件之间的高效传递通道。本章深入描述符池设计、环形缓冲区实现以及软硬件同步机制，帮助你在高吞吐场景下消除瓶颈。

4.1 描述符池设计

描述符池是预分配的 DMA 描述符集合，用于避免运行时动态分配带来的延迟和碎片。设计良好的描述符池能显著降低 DMA 提交路径的延迟，并保证缓存一致性。

4.1.1 描述符结构定义

典型的 DMA 描述符包含以下字段，通常以 32 字节或 64 字节对齐，以匹配缓存行大小：

字段 偏移（字节） 大小（字节） 说明
src_addr 0 8 源物理地址（内存或外设）
dst_addr 8 8 目的物理地址
length 16 4 传输字节数
control 20 4 控制标志（中断使能、链式、方向等）
status 24 4 完成状态（由硬件写入）
next_desc 28 4 下一个描述符指针（链式 DMA）
设计要点：描述符必须分配在非缓存（non-cacheable）或一致性内存区域，或使用 DMA API 进行缓存同步。描述符池大小通常为 2 的幂，以简化环形索引计算。

4.1.2 描述符池初始化流程

  1. 内存分配：使用 dma_alloc_coherent() 分配连续物理内存，保证描述符不被 CPU 缓存污染。
  2. 对齐处理：确保描述符基地址按缓存行对齐（通常 64 字节），避免伪共享。
  3. 预初始化：将描述符的 status 字段清零，control 字段设为默认值。
  4. 链表构建：对于链式 DMA，将 next_desc 指针串联成单向链表。
  5. 注册到 DMA 引擎：将描述符池的物理地址和数量写入 DMA 控制器的寄存器。
/* 描述符池初始化示例 */
struct dma_desc_pool {
    struct dma_desc *vaddr;   /* 虚拟地址 */
    dma_addr_t       paddr;   /* 物理地址 */
    unsigned int     count;   /* 描述符数量 */
};

int dma_desc_pool_init(struct dma_desc_pool *pool, unsigned int count)
{
    size_t size = count * sizeof(struct dma_desc);
    pool->vaddr = dma_alloc_coherent(dev, size, &pool->paddr, GFP_KERNEL);
    if (!pool->vaddr)
        return -ENOMEM;
    pool->count = count;
    memset(pool->vaddr, 0, size);
    /* 构建链式指针 */
    for (int i = 0; i < count - 1; i++)
        pool->vaddr[i].next_desc = pool->paddr + (i + 1) * sizeof(struct dma_desc);
    pool->vaddr[count - 1].next_desc = 0; /* 链表尾 */
    return 0;
}
性能提示：描述符池的分配应尽量在驱动初始化阶段完成，避免热路径上的 kmalloc 调用。对于多队列网卡，每个队列应拥有独立的描述符池。

4.2 环形缓冲区（Ring Buffer）实现

环形缓冲区是描述符在软件与硬件之间传递的循环队列。软件（驱动）负责将待处理的描述符写入环，硬件（DMA 控制器）从环中取出描述符执行传输，完成后将状态写回描述符并更新硬件指针。

4.2.1 环形缓冲区数据结构

环形缓冲区通常包含以下核心元素：

  • 描述符数组：预分配的描述符池，物理地址连续。
  • 生产者指针（head）：软件写入位置，指向下一个可用的描述符槽位。
  • 消费者指针（tail）：硬件读取位置，指向下一个待处理的描述符。
  • 完成指针（completed）：硬件完成传输后更新的位置，软件据此回收描述符。
注意：生产者指针和消费者指针必须存储在一致性内存区域，或使用 dma_sync_single_for_device() 进行显式同步。错误的指针同步会导致描述符被重复处理或遗漏。

4.2.2 环形缓冲区操作流程

  1. 提交描述符：软件将传输参数填入 head 指向的描述符，设置控制标志，然后递增 head。
  2. 通知硬件：软件将新的 head 值写入 DMA 控制器的 doorbell 寄存器，触发硬件开始处理。
  3. 硬件处理：DMA 控制器从 tail 到 head 之间读取描述符，执行传输，完成后更新描述符的 status 字段。
  4. 完成回收：硬件更新 completed 指针（或通过中断告知），软件从 completed 到 tail 之间回收已完成描述符。
/* 环形缓冲区提交描述符示例 */
int ring_submit(struct ring_buffer *ring, struct dma_desc *desc)
{
    unsigned int head = ring->head;
    unsigned int next = (head + 1) & (ring->size - 1);

    if (next == ring->tail) /* 环满 */
        return -EAGAIN;

    /* 将描述符复制到环中 */
    memcpy(&ring->descs[head], desc, sizeof(*desc));
    /* 确保描述符写入完成后再更新 head */
    wmb();
    ring->head = next;
    /* 通知硬件 */
    writel(next, ring->doorbell);
    return 0;
}

4.2.3 环形缓冲区状态判断

状态 条件 处理方式
环空 head == tail 无待处理描述符，硬件空闲或等待
环满 (head + 1) % size == tail 软件停止提交，等待硬件消费
有完成描述符 completed != tail 软件遍历 completed 到 tail 之间的描述符
优化技巧：环形缓冲区大小应为 2 的幂，这样可以使用位与运算代替取模，提升性能。同时，预留一个槽位用于区分满和空状态（即最多使用 size - 1 个槽位）。

4.3 硬件与软件同步机制

软硬件同步是 DMA 环形缓冲区正确运行的关键。同步机制需要解决两个核心问题：描述符所有权转移和完成通知。

4.3.1 所有权转移模型

描述符的所有权在软件和硬件之间交替转移：

  • 软件拥有：描述符在提交前和回收后由软件控制，软件可以读写描述符的所有字段。
  • 硬件拥有：描述符提交后到硬件完成前，硬件独占描述符的读取和 status 写入权限，软件只能读取 status 字段（通常使用轮询或中断）。

所有权转移通过描述符中的 ownership bit 实现：

/* 描述符所有权位定义 */
#define DESC_OWN_SW  0  /* 软件拥有 */
#define DESC_OWN_HW  1  /* 硬件拥有 */

/* 提交描述符时设置所有权为硬件 */
desc->control |= DESC_OWN_HW;
wmb();  /* 确保所有权位在 doorbell 之前可见 */

/* 回收描述符时检查所有权 */
if (desc->status & DESC_DONE) {
    desc->control &= ~DESC_OWN_HW;
    /* 软件回收处理 */
}

4.3.2 完成通知机制

硬件完成描述符处理后，需要通过以下方式通知软件：

通知方式 延迟 CPU 开销 适用场景
中断（IRQ） 低 高（上下文切换） 低吞吐、延迟敏感
轮询（Polling） 可控 高（CPU 忙等） 高吞吐、可容忍延迟
中断合并（Coalescing） 中等 中等 高吞吐、平衡延迟
写结合（Write-combining） 低 低 多描述符批量完成
最佳实践：在高性能网络或存储场景中，推荐使用中断合并 + 轮询混合模式：硬件在完成一批描述符后触发一次中断，软件在中断处理中轮询 completed 指针，批量回收描述符，减少中断频率。

4.3.3 内存屏障与缓存同步

由于 DMA 传输涉及 CPU 缓存和硬件之间的数据一致性，必须使用适当的内存屏障和缓存同步操作：

  • 写内存屏障（wmb）：确保描述符数据在更新 head 指针之前对硬件可见。
  • 读内存屏障（rmb）：确保读取描述符 status 字段时，硬件写入已完成。
  • DMA 同步 API：对于非一致性内存，使用 dma_sync_single_for_cpu() 和 dma_sync_single_for_device() 进行显式同步。
/* 完成回收时的同步示例 */
void ring_reclaim(struct ring_buffer *ring)
{
    while (ring->completed != ring->tail) {
        struct dma_desc *desc = &ring->descs[ring->tail];
        /* 确保硬件写入的 status 可见 */
        rmb();
        if (!(desc->status & DESC_DONE))
            break;  /* 硬件尚未完成 */
        /* 同步描述符到 CPU */
        dma_sync_single_for_cpu(dev, ring->paddr + ring->tail * sizeof(*desc),
                                sizeof(*desc), DMA_FROM_DEVICE);
        /* 处理完成描述符 */
        process_completed(desc);
        ring->tail = (ring->tail + 1) & (ring->size - 1);
    }
}

4.3.4 软硬件同步流程图

DMA 环形缓冲区软硬件同步流程 软件填充描述符 wmb() + 更新 head 写 doorbell 寄存器 硬件从 tail 到 head 读取描述符 执行 DMA 传输 + 写 status 更新 completed 指针 / 触发中断 软件轮询 completed rmb() + 回收描述符 所有权转移：软件拥有 → 硬件拥有（提交后）→ 软件拥有（回收后）

4.4 常见性能瓶颈与优化策略

瓶颈 原因 优化策略
描述符分配延迟 运行时动态分配描述符 使用预分配描述符池，避免热路径分配
缓存一致性开销 描述符在 CPU 缓存和 DMA 之间频繁同步 使用一致性内存（dma_alloc_coherent）或批量同步
中断风暴 每个描述符完成都触发中断 启用中断合并，设置中断阈值或超时
环满阻塞 环形缓冲区太小或硬件处理慢 增大环大小，使用多队列并行处理
指针同步错误 head/tail 指针未正确同步 使用内存屏障和 DMA 同步 API 确保顺序
避坑指南：不要假设硬件会按顺序更新 completed 指针。某些 DMA 控制器支持乱序完成，此时软件必须检查每个描述符的 status 字段，而不能仅依赖指针差值。

4.5 小结

DMA 描述符管理与环形缓冲区是 DMA 性能优化的基石。描述符池设计决定了内存分配效率和缓存一致性开销；环形缓冲区实现决定了软硬件交互的吞吐上限；同步机制则直接关系到数据传输的正确性和延迟。在实际项目中，建议结合具体硬件手册，调整环大小、中断策略和同步粒度，以达到最佳性能。

← 上一章 📖 返回目录 下一章 →