4. DMA地址映射机制

DMA 地址映射是 PCIe 驱动调试中最核心、最容易出错的环节之一。设备看到的“总线地址”（Bus Address, BA）与 CPU 看到的“物理地址”（Physical Address, PA）通常不一致，必须通过 IOMMU（I/O Memory Management Unit）或 SMMU（System MMU）进行转换。本章深入分析映射原理、两种映射方式的差异及调试要点。

4.1 IOMMU/SMMU 的作用与地址转换流程

IOMMU（Intel/AMD 平台）和 SMMU（ARM 平台）是位于 PCIe Root Complex 与系统内存之间的硬件单元。它们为每个 PCIe 设备维护独立的 I/O 页表，实现设备地址空间到物理地址空间的隔离与映射。

4.2 流式映射（Streaming DMA Mapping）

流式映射是最常用的 DMA 映射方式，适用于数据在设备和内存之间一次性或短周期传输的场景。映射在每次 DMA 操作前建立，操作完成后立即解除。

4.2.1 核心 API

// 映射单个缓冲区（返回设备可用的 DMA 地址）
dma_addr_t dma_map_single(struct device *dev, void *cpu_addr,
                          size_t size, enum dma_data_direction dir);

// 解除映射
void dma_unmap_single(struct device *dev, dma_addr_t dma_handle,
                      size_t size, enum dma_data_direction dir);

// 映射 SG 列表（用于分散/聚集 DMA）
int dma_map_sg(struct device *dev, struct scatterlist *sg,
               int nents, enum dma_data_direction dir);

// 解除 SG 映射
void dma_unmap_sg(struct device *dev, struct scatterlist *sg,
                  int nents, enum dma_data_direction dir);

4.2.2 流式映射的典型流程

1. 分配 CPU 缓冲区：使用 kmalloc 或 dma_alloc_coherent（注意：流式映射通常用 kmalloc 分配的缓冲区）。
2. 调用 dma_map_single：内核执行 cache 一致性操作（flush/invalidate），并返回 DMA 地址。
3. 将 DMA 地址写入设备寄存器：启动 DMA 传输。
4. 等待传输完成：通过中断或轮询。
5. 调用 dma_unmap_single：解除映射，确保 cache 数据同步。

4.3 一致性映射（Consistent DMA Mapping）

一致性映射适用于长期存在的 DMA 缓冲区，例如描述符环、控制寄存器、状态队列等。映射建立后，CPU 和设备看到的地址始终有效，无需每次传输都重新映射。

4.3.1 核心 API

// 分配并映射一致性缓冲区
dma_addr_t dma_alloc_coherent(struct device *dev, size_t size,
                              dma_addr_t *dma_handle, gfp_t flag);

// 释放一致性缓冲区
void dma_free_coherent(struct device *dev, size_t size,
                       void *cpu_addr, dma_addr_t dma_handle);

4.3.2 一致性映射的关键特性

4.4 流式映射 vs 一致性映射：对比与选型

4.5 DMA 数据方向与 Cache 一致性操作

流式映射的 dma_data_direction 参数决定了内核在 map/unmap 时执行的 cache 操作类型。

4.6 调试 IOMMU 映射问题的常用方法

• 检查 IOMMU 是否启用：dmesg | grep -E "IOMMU|DMAR|SMMU"，确认 iommu=pt 或 iommu.passthrough=1 是否设置。
• 查看 IOVA 使用情况：cat /sys/kernel/debug/iommu/intel/iova_domain/allocated（Intel 平台）。
• 捕获 IOMMU 错误：echo 1 > /sys/kernel/debug/iommu/intel/irq_remapping/enable 并监控 dmesg 中的 DMAR: [INTR-REMAP] 或 IOMMU: page fault。
• 验证 DMA 地址有效性：在 map 后打印 dma_handle，使用 iommu-dma 工具或 devmem2 检查该地址是否可访问。
• 使用 ftrace 跟踪 DMA API：echo dma:* > /sys/kernel/debug/tracing/set_event，然后查看 trace 日志。

4.7 实际调试案例：流式映射导致 IOMMU 页错误

排查步骤：

1. 确认 IOMMU 启用：dmesg | grep DMAR 显示 DMAR: IOMMU enabled。
2. 检查驱动代码，发现 RX 缓冲区使用 dma_alloc_coherent 分配，但 TX 缓冲区使用 kmalloc + dma_map_single。
3. 打印 TX 映射后的 dma_handle，发现地址为 0x12345000，与 fault 地址一致。
4. 进一步检查发现，TX 完成中断处理中调用了 dma_unmap_single，但传入的 size 参数比实际映射时小（映射 2048 字节，unmap 只传了 256 字节）。
5. 根因： unmap 时 size 不匹配导致 IOMMU 页表未完全解除，后续 DMA 访问到残留映射区域触发 fault。
6. 修复： 确保 map/unmap 的 size 完全一致，并使用 dma_unmap_single 的 size 参数与 map 时相同。