📚 课程目录第4章 DMA缓冲区分配机制

4. DMA 缓冲区分配机制：一致性 DMA 映射与流式 DMA 映射

在 Linux 设备驱动开发中，DMA 缓冲区分配是连接外设与系统内存的核心环节。根据缓存一致性维护策略的不同，内核提供了两种 DMA 映射机制：一致性 DMA 映射（Consistent DMA Mapping）和流式 DMA 映射（Streaming DMA Mapping）。理解两者的区别与适用场景，是编写高性能、稳定 DMA 驱动的关键。

核心概念：DMA 映射的本质是建立物理内存页与设备 DMA 地址之间的映射关系，并确保 CPU 和设备对该内存区域的访问在缓存一致性上达成一致。

4.1 一致性 DMA 映射（dma_alloc_coherent）

一致性 DMA 映射，也称为同步 DMA 映射，通过 dma_alloc_coherent() 函数实现。该函数分配一段物理连续的内存，并同时返回 CPU 虚拟地址和 DMA 总线地址。其最显著的特点是：硬件保证 CPU 和设备在任何时刻看到的缓冲区内容都是一致的，无需驱动手动进行缓存刷新操作。

4.1.1 工作原理与实现机制

当驱动调用 dma_alloc_coherent() 时，内核会执行以下关键步骤：

分配物理连续内存：从低端内存（ZONE_DMA 或 ZONE_NORMAL）中分配指定大小的物理连续页。
建立页表映射：为这段物理内存建立内核虚拟地址映射。
设置缓存属性：将这段内存的页表项设置为 非缓存（Uncached） 或 写合并（Write-Combine） 属性。这是保证一致性的关键——CPU 访问该区域时直接操作物理内存，跳过 CPU 缓存。
返回双地址：向驱动返回 CPU 可用的虚拟地址（用于驱动访问）和 DMA 总线地址（用于设备访问）。

关键 API 原型：

void *dma_alloc_coherent(struct device *dev, size_t size,
                         dma_addr_t *dma_handle, gfp_t flag);

参数说明：dev 为设备指针；size 为分配大小（字节）；dma_handle 用于返回 DMA 总线地址；flag 为内存分配标志（如 GFP_KERNEL）。

4.1.2 适用场景

控制/状态寄存器块：如网卡的描述符环（Descriptor Ring）、USB 控制器的数据结构。
长期驻留的共享缓冲区：驱动生命周期内频繁由 CPU 和设备交替访问的缓冲区。
对实时性要求高的场景：避免每次访问都手动维护缓存一致性带来的延迟抖动。
简单驱动模型：驱动逻辑简单，不希望引入复杂的缓存同步逻辑。

4.1.3 局限性

性能开销：由于禁用了 CPU 缓存，CPU 对该区域的读写速度远低于缓存内存，可能成为性能瓶颈。
内存浪费：通常分配在低端内存区域，且需要物理连续，在高碎片化系统中容易失败。
分配延迟：分配过程可能涉及内存迁移和页表修改，不适合高频分配/释放的场景。

4.2 流式 DMA 映射（dma_map_single）

流式 DMA 映射，也称为异步 DMA 映射，通过 dma_map_single() 函数实现。它不对已分配的内存做缓存属性修改，而是通过软件维护缓存一致性：在 DMA 传输前，驱动显式地将 CPU 缓存中的数据刷新（Flush）或失效（Invalidate）到主存；传输完成后，再使 CPU 缓存失效，以确保 CPU 读到的是设备写入的最新数据。

4.2.1 工作原理与操作流程

流式 DMA 映射的典型操作流程如下：

分配缓冲区：驱动使用 kmalloc()、__get_free_pages() 或 dma_alloc_coherent() 之外的常规内存分配函数获得缓冲区。
映射缓冲区：调用 dma_map_single() 获取 DMA 总线地址，同时根据数据传输方向执行缓存同步操作。
启动 DMA 传输：将 DMA 地址写入设备寄存器，触发传输。
同步缓存（可选）：对于非一致性映射，使用 dma_sync_single_for_cpu() 或 dma_sync_single_for_device() 进行细粒度同步。
解除映射：传输完成后，调用 dma_unmap_single() 释放 DMA 映射并执行必要的缓存失效操作。

关键 API 原型：

dma_addr_t dma_map_single(struct device *dev, void *cpu_addr,
                           size_t size, enum dma_data_direction dir);
void dma_unmap_single(struct device *dev, dma_addr_t dma_handle,
                       size_t size, enum dma_data_direction dir);

方向参数 dir 可选：DMA_TO_DEVICE（CPU 写，设备读）、DMA_FROM_DEVICE（设备写，CPU 读）、DMA_BIDIRECTIONAL（双向）。

4.2.2 适用场景

大数据块传输：如网络数据包、磁盘 I/O 请求，缓冲区使用完后立即释放。
临时共享缓冲区：驱动只在 DMA 传输期间需要设备访问该内存。
性能敏感路径：利用 CPU 缓存的加速特性，仅在传输前后付出同步开销。
非连续物理内存：配合 dma_map_sg() 可处理分散/聚集（SG）DMA。

4.2.3 局限性

编程复杂度高：驱动必须精确控制缓存同步的时机和方向，错误操作会导致数据损坏。
同步开销：每次传输都需要执行缓存刷新/失效操作，对于小数据块可能得不偿失。
生命周期管理：映射和解除映射必须配对，且映射期间缓冲区不能被其他上下文意外访问。

4.3 核心区别对比

下表从多个维度系统对比两种 DMA 映射机制，帮助开发者在实际项目中做出正确选择。

对比维度	一致性 DMA 映射	流式 DMA 映射
缓存一致性维护	硬件保证（非缓存页表）	软件维护（显式同步 API）
分配函数	`dma_alloc_coherent()`	`kmalloc()` + `dma_map_single()`
CPU 访问性能	低（无缓存加速）	高（利用 CPU 缓存）
编程复杂度	低（无需手动同步）	高（需精确控制同步时机）
内存类型	物理连续，低端内存	任意内核内存（可非连续）
分配/释放开销	较高（页表修改）	较低（仅映射操作）
典型缓冲区大小	小到中等（KB ~ MB）	中等到大（MB ~ GB）
典型应用	描述符环、控制结构	网络数据包、文件 I/O
错误风险	低	高（同步遗漏导致数据损坏）

4.4 选择决策指南

在实际驱动开发中，选择哪种映射机制应遵循以下决策原则：

黄金法则：如果缓冲区在驱动生命周期内被 CPU 和设备频繁交替访问，且缓冲区较小，优先选择一致性 DMA 映射；如果缓冲区主要用于批量数据传输，且 CPU 访问频率低，优先选择流式 DMA 映射。

4.4.1 决策流程

判断缓冲区生命周期：是长期驻留还是临时使用？长期驻留考虑一致性映射。
评估访问频率：CPU 和设备交替访问频率高吗？高频交替选择一致性映射以避免频繁同步。
评估数据量：单次传输数据量是否大于 L2 缓存大小？大数据量优先流式映射以利用缓存加速。
考虑实时性：是否需要确定性延迟？一致性映射提供更稳定的访问延迟。
评估开发资源：团队是否有能力正确实现缓存同步逻辑？否则选择更安全的一致性映射。

4.4.2 混合使用策略

在实际驱动中，两种映射机制可以混合使用。例如，网卡驱动使用一致性 DMA 映射分配描述符环（控制路径），而使用流式 DMA 映射处理数据包缓冲区（数据路径）。这种设计兼顾了控制路径的简单性和数据路径的高性能。

常见陷阱：不要对同一段物理内存同时使用两种映射方式。如果先通过 dma_alloc_coherent() 分配了内存，又试图用 dma_map_single() 对其进行映射，会导致缓存属性冲突和不可预测的行为。

4.5 性能调优建议

对齐与大小：DMA 缓冲区应遵循设备要求的对齐边界（通常为缓存行大小 64 字节），避免跨缓存行访问导致的一致性问题。
批量同步：在流式映射中，尽量合并多个小同步操作为一次大范围同步，减少 API 调用开销。
使用 SG 列表：对于非连续物理内存，使用 dma_map_sg() 替代多次 dma_map_single() 调用，减少映射次数。
预分配池：对于频繁分配/释放的一致性缓冲区，使用 dma_pool_create() 创建 DMA 内存池，减少分配延迟。
NUMA 感知：在多 NUMA 节点系统中，使用 dma_alloc_coherent() 的 dev 参数确保内存分配在设备所在 NUMA 节点上。