2. PCIe体系结构基础
要优化 Linux 下的 PCIe DMA 传输，必须先建立对 PCIe 体系结构的整体认知。PCIe 不是一条简单的并行总线，而是一套基于点对点串行链路、分层协议和树形拓扑的互连体系。DMA 性能瓶颈往往不在驱动代码本身，而藏在拓扑层级、BAR 映射方式、TLP 打包效率以及链路层重传机制之中。本章从拓扑结构、配置空间、BAR、TLP/DLLP 以及事务层、数据链路层、物理层的关键机制入手，为后续 DMA 优化建立底层坐标系。
一、PCIe 拓扑结构：树形点对点互连
PCIe 采用树形拓扑，由 Root Complex（RC）、Switch、Endpoint（EP） 和 PCIe Link 组成。RC 位于 CPU 与 PCIe 之间，负责将 CPU 的内存访问转换为 PCIe 事务；Switch 提供端口扩展，内部由虚拟 PCI-PCI 桥构成；Endpoint 是真正的功能设备，如 NVMe SSD、网卡、GPU 或 FPGA 加速卡。
关键点在于：PCIe 是点对点链路，每条 Link 只连接两个设备，带宽由链路宽度（x1/x4/x8/x16）和速率（Gen1~Gen5）共同决定。两个 EP 之间通信必须经过 RC 或 Switch 转发，路径越长、跳数越多，延迟越大。对于 DMA 优化，这意味着应尽量让高带宽设备靠近 RC，避免多级 Switch 级联造成额外转发延迟和带宽争用。
二、配置空间与 BAR：设备如何被系统识别
每个 PCIe 功能都拥有 4KB 配置空间，前 256 字节兼容 PCI 配置空间，后 3KB 为 PCIe 扩展配置空间。配置空间通过 ECAM（Enhanced Configuration Access Mechanism）映射到内存，Linux 中通常表现为 /sys/bus/pci/devices/ 下的属性文件。
配置空间中最关键的是 BAR（Base Address Register）。BAR 用于声明设备需要的地址空间类型（内存/IO）、大小和属性（可预取、64 位等）。系统启动时，BIOS 或内核枚举设备，为每个 BAR 分配物理地址，驱动随后通过 pci_iomap() 或 ioremap() 将其映射到内核虚拟地址，从而访问设备寄存器。
# 查看设备 BAR 分配情况
lspci -vv -s 01:00.0 | grep -A4 "Region"
# 输出示例：
# Region 0: Memory at fb000000 (32-bit, non-prefetchable) [size=16K]
# Region 2: Memory at f8000000 (64-bit, prefetchable) [size=8M]
# Region 4: Memory at fc000000 (64-bit, non-prefetchable) [size=256K]
# 查看配置空间原始数据
setpci -s 01:00.0 0x10.l # 读取 BAR0 低 32 位
三、TLP 与 DLLP：PCIe 的两种报文
PCIe 事务层生成 TLP（Transaction Layer Packet），用于承载内存读写、配置读写、消息等事务。TLP 由 Header、Data Payload 和可选 ECRC 组成。常见的 TLP 类型包括：
- MRd / MWr：内存读/写请求，DMA 传输的核心
- CplD：带数据的完成报文，响应读请求
- CfgRd / CfgWr：配置空间读写
- Msg：消息事务，用于中断、电源管理等
数据链路层生成 DLLP（Data Link Layer Packet），用于链路管理，不携带用户数据。典型 DLLP 包括 ACK/NAK（确认/否认）、Flow Control（流控）、Power Management（电源管理）等。DLLP 是保证 TLP 可靠传输的关键机制。
| 报文类型 | 所属层 | 主要功能 | DMA 相关性 |
|---|---|---|---|
| MRd | 事务层 | 内存读请求 | 高，DMA 读方向 |
| MWr | 事务层 | 内存写请求 | 高，DMA 写方向 |
| CplD | 事务层 | 带数据完成 | 高，读响应 |
| ACK/NAK | 数据链路层 | 确认/重传 | 中，影响有效带宽 |
| Flow Control | 数据链路层 | 信用管理 | 高，决定并发深度 |
| Ordered Set | 物理层 | 链路训练/同步 | 低，链路建立阶段 |
四、三层协议协同：从 CPU 到设备的数据路径
一次 DMA 写操作（CPU 内存 → 设备）的完整路径如下：
- 驱动在内存中准备好数据缓冲区，获取物理地址（DMA 地址）
- 驱动写设备寄存器，触发 DMA 引擎
- 设备生成 MWr TLP，携带目标地址和数据
- TLP 经数据链路层添加 Sequence Number 和 LCRC，封装为帧
- 物理层进行 8b/10b 或 128b/130b 编码，通过 SerDes 发送
- 接收端物理层解码，数据链路层校验 LCRC，返回 ACK DLLP
- 事务层解析 TLP，将数据写入目标内存
读方向（设备 → CPU 内存）则涉及 MRd TLP 和 CplD TLP 的往返，延迟更高。理解这一路径，才能定位 DMA 瓶颈：是 TLP 打包效率低、流控信用不足、还是链路层重传过多。
五、案例：NVMe SSD 的 DMA 路径分析
以 NVMe SSD 为例，其 DMA 写路径为：主机内存 → NVMe 控制器 → PCIe 事务层 → Switch → RC → 内存。若 SSD 挂在多级 Switch 下，每级 Switch 都会引入转发延迟。通过 lspci -t 可查看拓扑树：
lspci -t
# 输出示例：
# -[0000:00]-+-00.0 Root Complex
# +-01.0-[01]----00.0 NVMe SSD
# +-02.0-[02-03]----00.0-[03]----00.0 NIC
若发现 NVMe 位于多级桥后，可考虑调整插槽位置，将其移至直连 RC 的插槽。同时，通过 lspci -vv 检查 DevCap 中的 MPS 和 MRRS，确认是否已设置为设备支持的最大值。
六、复盘与优化检查清单
- 确认设备拓扑层级，优先使用直连 RC 的插槽
- 检查 BAR 分配是否合理，避免 MMIO 空间不足
- 确认 MPS 和 MRRS 是否设置为设备支持的最大值
- 检查流控信用是否充足，避免因信用不足导致 TLP 阻塞
- 监控链路层重传率，过高说明信号完整性或链路训练有问题
- 使用
lspci -vv、setpci、perf等工具持续观测