📚 课程目录第1章课程导入

1. 课程导入

在服务器、存储阵列、智能网卡、AI 加速卡以及工业采集系统中，PCIe 设备与主机内存之间的数据搬运几乎决定了整个系统的吞吐上限。CPU 逐字节拷贝的时代早已过去，DMA（Direct Memory Access，直接内存访问）让设备可以在不占用 CPU 周期的情况下直接读写系统内存。然而，很多工程师在第一次面对“带宽只有理论值的三分之一”“延迟抖动大”“大包丢数据”这类问题时，往往不知道从哪里下手。本课程的目标，就是把这团乱麻拆成可度量、可定位、可优化的工程路径。

本课程围绕一条主线展开：让数据从设备到内存（或反向）的每一次搬运都尽可能接近 PCIe 链路的物理极限，同时保持可控的 CPU 占用与稳定的延迟。

一、学习目标：从“能传”到“传得快、传得稳”

完成本课程后，你应当具备以下能力：

理解 PCIe 事务层、数据链路层与物理层对 DMA 带宽和延迟的影响边界；
掌握 Linux DMA 子系统的核心 API：dma_alloc_coherent、dma_map_single、dma_map_sg、dma_sync_* 的适用场景与代价；
能够阅读并分析 /sys/kernel/debug/pcie、lspci -vv、perf、ftrace 等工具输出的关键参数；
针对不同数据规模选择正确的传输模式：单次映射、散射聚集（SG）、环形缓冲、零拷贝；
定位并修复常见的 DMA 性能陷阱：缓存一致性开销、映射频繁、中断风暴、描述符饥饿、NUMA 跨节点访问；
建立一套可复现的基准测试与回归验证方法，用数据而不是感觉来判断优化是否有效。

二、核心概念：先建立正确的“数据搬运”心智模型

PCIe DMA 的本质，是设备通过总线发起对主机内存的读写请求。这里有几个必须同时成立的条件：设备能看到正确的物理地址（或 IOMMU 映射后的地址）、CPU 与设备对内存的可见性一致、传输过程中内存不能被换出或移动。Linux 的 DMA API 正是为屏蔽这些差异而存在。

需要特别区分两类内存：一致性内存（coherent memory） 与 流式内存（streaming memory）。前者在分配时就保证 CPU 与设备看到一致的数据，适合长期存在的控制结构、描述符环；后者需要显式 map/unmap，适合一次性或批量数据，性能更高但使用约束更多。很多性能问题，根源就是把该用流式映射的大数据块错误地放进了一致性内存，或者反过来频繁 map/unmap 小缓冲区。

另一个关键概念是 IOMMU/SMMU。它让设备使用 IOVA 而非物理地址，带来安全隔离和更大的地址空间，但也会引入地址转换开销。是否开启、使用直通模式还是翻译模式，会显著改变 DMA 的延迟与吞吐特征。

三、方法流程：六步闭环，把优化变成可重复的工程动作

性能优化最忌讳“凭感觉改代码”。本课程推荐一套六步闭环：建立基线 → 识别瓶颈 → 选择传输模式 → 优化映射与同步 → 调优中断与并发 → 回归验证。每一步都必须有可量化的输入和输出。

建立基线时，至少记录四项指标：有效带宽（MB/s）、平均延迟与 P99 延迟、CPU 占用率、中断次数。识别瓶颈时，先看链路是否跑满：用 lspci -vv 确认协商速率和宽度，用 perf stat 观察 CPU 周期去向。如果链路利用率低但 CPU 很忙，问题多半在映射或中断处理；如果链路利用率高但带宽仍不达标，则要检查 TLP 开销、读写比例和 IOMMU 模式。

# 查看 PCIe 链路协商状态
lspci -vv -s 01:00.0 | grep -E "LnkCap|LnkSta"

# 观察 DMA 映射与中断相关内核事件
perf stat -e 'iommu:*' -e 'irq:*' -a sleep 5

# 简单带宽基线（需设备支持 O_DIRECT 与对应驱动）
dd if=/dev/mydev of=/dev/null bs=1M count=4096 iflag=direct

四、典型场景与误区复盘

场景一：万兆网卡小包转发。每包都做一次 dma_map_single，映射开销甚至超过数据搬运本身。正确做法是使用预分配的 DMA 池和环形描述符，批量提交、批量回收。

场景二：NVMe 大块顺序读。数据本身连续，但驱动使用了过小的 SG 段，导致描述符数量暴涨。应合并相邻物理页，减少 SG 条目，让单次 DMA 传输覆盖更大范围。

场景三：多卡并发。设备分布在不同 NUMA 节点，内存却分配在远端节点，跨节点访问让延迟翻倍。应使用 numactl 或驱动内的节点亲和分配，让设备和内存处于同一节点。

常见误区：认为“开启 IOMMU 一定更慢”。实际上在支持 IOVA 直通或大页映射的场景下，IOMMU 的开销可以忽略，而它带来的安全隔离和地址灵活性往往更值得。真正的问题通常出在映射粒度过小、频繁 invalidation，而不是 IOMMU 本身。

优化维度	关键观察点	常用手段	预期收益
映射开销	map/unmap 调用频率	预映射、DMA 池、批量映射	降低 CPU 占用 20%~50%
描述符效率	SG 条目数、环大小	合并连续页、增大环深度	提升吞吐 10%~30%
中断处理	每秒中断数、单核占比	中断合并、多队列、NAPI	降低延迟抖动，释放 CPU
NUMA 亲和	设备与内存节点距离	同节点分配、绑定 CPU	降低延迟 15%~40%
IOMMU 模式	IOVA 映射粒度、invalidation 次数	直通、大页、减少失效	减少转换开销

学习本课程时，建议准备一台带 PCIe 设备的实验机，边学边用 perf、ftrace 和自定义测试程序验证每个结论。只有亲手测量过，才能真正理解“为什么这样优化有效”。

接下来的章节将沿着这条路线逐步展开：先补齐 PCIe 与 DMA 的基础知识，再深入 Linux DMA API 的使用细节，然后进入映射优化、SG 与环形缓冲、中断与并发调优，最后用完整的案例把方法串起来。你不需要一次记住所有参数，但需要建立“测量—定位—修改—验证”的工程习惯，这才是 PCIe DMA 传输优化最可靠的能力。