DMA延迟测量与内存访问优化：Linux驱动调优实践 - 第1节
1.1 DMA 工作原理：从 CPU 搬运到硬件自主传输
直接存储器访问（Direct Memory Access, DMA）是一种允许硬件设备直接读写系统内存而无需 CPU 逐字节干预的数据传输技术。在无 DMA 的系统中，每次 I/O 操作都需要 CPU 执行加载/存储指令，将数据从外设寄存器搬运到内存（或反向），这会严重占用 CPU 的算力。DMA 控制器接管了数据搬运任务，CPU 只需发起传输请求，随后即可并行处理其他计算任务。
核心思想： DMA 将 CPU 从“数据搬运工”角色中解放出来，使其专注于控制流和计算密集型任务，从而大幅提升系统吞吐量。
DMA 传输的基本流程
- CPU 配置 DMA 控制器： 设置源地址、目标地址、传输长度、传输方向（内存→设备、设备→内存或内存→内存）以及触发方式。
- CPU 启动 DMA： 写入 DMA 控制器的启动寄存器，DMA 控制器开始独立于 CPU 执行总线仲裁与数据传输。
- DMA 控制器搬运数据： 在总线周期内，DMA 控制器作为总线主控设备，从源地址读取数据并写入目标地址，每次传输可为单位字长或突发块。
- 传输完成通知： 当计数寄存器归零，DMA 控制器通过中断或硬件信号通知 CPU 传输结束。
关键指标： DMA 传输延迟通常由三部分组成：启动延迟（配置与仲裁时间）、传输延迟（数据在总线上的搬运时间）以及完成延迟（中断响应与清理时间）。在 Linux 驱动调优中，减少启动延迟和完成延迟是优化重点。
DMA 与普通 PIO 的对比
| 对比维度 | PIO（Programmed I/O） | DMA（Direct Memory Access） |
|---|---|---|
| CPU 参与度 | 每字节/每字都需要 CPU 执行指令 | 仅配置和完成时介入，传输过程 CPU 空闲 |
| 传输速率 | 受限于 CPU 指令执行速度，通常较慢 | 接近总线带宽，适合大块数据 |
| CPU 利用率 | 低（CPU 被 I/O 占用） | 高（CPU 可并行处理其他任务） |
| 适用场景 | 小数据量、控制寄存器访问 | 大数据块、流式设备（网卡、存储、音视频） |
| 硬件复杂度 | 低（无需 DMA 控制器） | 高（需要 DMA 控制器及总线仲裁逻辑） |
1.2 DMA 与 CPU 交互模式：中断、轮询与硬件同步
DMA 控制器与 CPU 之间的交互模式决定了数据传输的实时性和 CPU 开销。在 Linux 驱动中，选择合适的交互模式是降低 DMA 延迟的关键。
三种主流交互模式
- 中断驱动模式： DMA 传输完成后，DMA 控制器向 CPU 发送中断信号。CPU 在中断服务例程（ISR）中处理数据。优点是响应及时，适合非周期性或突发传输；缺点是中断上下文切换开销较大，高频率中断可能导致 CPU 负载飙升。
- 轮询模式： CPU 定期检查 DMA 控制器的状态寄存器（如完成标志位）。优点是实现简单、无中断延迟；缺点是浪费 CPU 周期，适合传输频率固定且可预测的场景。
- 硬件同步模式： 利用硬件信号（如 DMA 请求/应答握手线）或描述符链（Descriptor Chain）实现多缓冲区自动切换。CPU 只需在描述符链末尾等待完成事件，中间过程完全由硬件自主调度。这是高性能网卡和存储控制器的主流模式。
调优陷阱： 中断合并（Interrupt Coalescing）虽然能降低中断频率，但会引入额外的延迟累积。在延迟敏感型驱动（如实时音频、工业控制）中，应谨慎使用中断合并或采用自适应中断节流。
交互模式对比表
| 模式 | 延迟特性 | CPU 开销 | 典型场景 |
|---|---|---|---|
| 中断驱动 | 低延迟（微秒级响应） | 中等（中断上下文切换） | 网卡、存储控制器、音频设备 |
| 轮询 | 取决于轮询间隔（可低至纳秒级） | 高（持续占用 CPU） | 高速数据采集、FPGA 交互 |
| 硬件同步（描述符链） | 极低（硬件流水线） | 低（仅处理完成事件） | NVMe SSD、万兆网卡、GPU 数据传输 |
1.3 DMA 在 Linux 系统中的角色：从驱动框架到内存管理
Linux 内核为 DMA 提供了完整的软件抽象层，包括 DMA 引擎 API、DMA 映射 API、IOMMU/IOMMU 群组以及设备树/ACPI 描述。驱动开发者无需直接操作硬件 DMA 寄存器，而是通过内核提供的统一接口完成缓冲区分配、地址映射和传输控制。
Linux DMA 子系统架构
下图展示了 Linux 内核中 DMA 相关组件之间的层次关系：
DMA 在 Linux 驱动中的典型角色
- 缓冲区管理： 使用
dma_alloc_coherent()分配一致性 DMA 缓冲区（无缓存一致性问题），或使用dma_map_single()/dma_map_sg()进行流式 DMA 映射（需处理缓存刷新）。 - 传输控制： 通过
dmaengine_prep_slave_sg()准备分散/聚集传输，通过dmaengine_submit()提交传输请求，通过dma_async_issue_pending()触发实际传输。 - 完成回调： 注册
dma_async_tx_callback回调函数，在 DMA 传输完成时由内核自动调用，驱动可在回调中唤醒等待队列或提交下一轮传输。 - IOMMU 地址转换： 当系统包含 IOMMU（如 Intel VT-d、ARM SMMU）时，DMA 映射 API 会自动管理设备地址与物理地址之间的转换，实现设备隔离和大地址空间支持。
性能关键点： 在 Linux 驱动中，DMA 延迟的主要来源包括：
① 缓冲区分配与映射开销（尤其是首次分配时的页表建立与 TLB 刷新）；
② 缓存一致性操作（如 dma_sync_single_for_cpu/device）；
③ 中断处理延迟（包括中断控制器分发延迟和 ISR 执行时间）；
④ IOMMU 页表遍历延迟（当使用大页映射时可显著降低）。
① 缓冲区分配与映射开销（尤其是首次分配时的页表建立与 TLB 刷新）；
② 缓存一致性操作（如 dma_sync_single_for_cpu/device）；
③ 中断处理延迟（包括中断控制器分发延迟和 ISR 执行时间）；
④ IOMMU 页表遍历延迟（当使用大页映射时可显著降低）。
DMA 与 CPU 缓存一致性
DMA 传输绕过 CPU 缓存，直接访问物理内存。如果 CPU 缓存中存有与 DMA 缓冲区相同地址的数据副本，就会产生缓存一致性问题。Linux 通过两种策略解决：
| 策略 | 实现方式 | 适用场景 | 性能影响 |
|---|---|---|---|
| 一致性 DMA 映射 | 分配非缓存（Non-cacheable）或写合并（Write-combine）内存 | 长期共享的缓冲区（如描述符环、控制寄存器） | 写入延迟较高，但无需手动同步 |
| 流式 DMA 映射 | 使用普通缓存内存，传输前后调用缓存刷新/失效指令 | 一次性或短生命周期数据传输 | 需要显式同步，但可利用缓存加速 CPU 访问 |
调优建议： 对于高频小数据量 DMA（如网络包描述符），优先使用一致性映射以避免每次传输的缓存刷新开销；对于大块数据流（如视频帧），流式映射配合预取指令可获得更好的整体吞吐量。